[2103.11395] ScanMix: Learning from Severe Label Noise via Semantic Clustering and Semi-Supervised Learning (arxiv.org)

Basic Information:

• Title: ScanMix: Learning from Severe Label Noise via Semantic Clustering and Semi-Supervised Learning (ScanMix: 通过语义聚类和半监督学习学习严重标签噪声)

• Authors: Ragav Sachdeva, Filipe Rolim Cordeiro, Vasileios Belagiannis, Ian Reid, Gustavo Carneiro

• Affiliation: Ragav Sachdeva: University of Adelaide and Australian Centre for Robotic Vision (阿德莱德大学和澳大利亚机器视觉中心); Filipe Rolim Cordeiro, Vasileios Belagiannis, Ian Reid and Gustavo Carneiro: University of Adelaide and Australian Centre for Visual Technologies (阿德莱德大学和澳大利亚视觉技术中心)

• Keywords: Semisupervised learning, ScanMix, Label noise

• Urls: arXiv:2103.11395v3 (paper), Github: None

Background:

• a. 主题和特征：
• 自监督学习和标签噪声问题。

• b. 历史发展
• 自监督学习技术在图像分类和识别任务中已取得广泛的应用，然而当标签噪声率高时，使用这些技术通常会产生不准确的结果。

• c. 过去的方法
• 过去的方法通常包括联合训练、数据增强和标签噪声过滤等技术，这些方法在解决标签噪声问题方面有一定成效，但在高标签噪声率下的表现欠佳。

• d. 过去研究的缺点
• 过去的方法存在着准确率不高、受限于噪声率的限制等问题。

• e. 当前需要解决的问题
• 为了提高模型的鲁棒性和准确率，需要解决高标签噪声率下的图像分类问题。

Methods:

• a. 研究的理论基础
• 本文理论基础为自监督学习技术。

• b. 文章的技术路线（步骤）
• 本研究提出了一种名为ScanMix的新训练算法。ScanMix算法结合了语义聚类和SSL技术，通过期望最大化（EM）框架实现优良的噪声标签建模。其中E-步骤根据图像出现的特征和分类结果对训练图像进行聚类，M-步骤通过聚类学习并优化SSL分类和特征表示。使用ScanMix算法，可以避免噪声标签引起的偏差，实现准确的SSL策略分类。

Conclusion:

• a. 工作的重要性
• ScanMix算法可以提高模型在高标签噪声率下的准确率和鲁棒性，克服了过去方法的缺陷。

• b. 创新、表现和工作量
• 本研究提出了一种新的噪声标签学习算法，理论分析证明了该算法的正确性和收敛性，实验结果在多个数据集的噪声标签学习问题中表现良好，优于现有方法。

• c. 研究结论（列出要点）
• ScanMix算法结合了语义聚类和SSL技术，避免了模型过度依赖于噪声标签，提高了噪声标签分类结果的准确性。在高噪声率下，ScanMix算法表现出最佳结果。该算法在多个数据集上取得优秀的性能，包括CIFAR-10 / -100，Mini-ImageNet，Clothing1M和Webvision等。同时，实验证明了该算法的正确性和收敛性。