本技术公开了一种基于粒球计算和对比学习的图像标签噪声学习方法,包括:获取图片数据并对其进行预处理,将预处理好的图片数据输入到训练好的图像标签噪声学习模型中,得到图像分类的结果。该图像标签噪声学习网络的训练过程包括:获取图像训练数据集,对其预处理和数据增强;采用对比学习框架SimSiam分别提取强数据增强样本和弱数据增强样本的特征表示,将弱数据增强样本的特征表示输入粒球计算层,经聚类后将粒球样本的特征矩阵及其标签输入分类器得到图像分类结果p,计算分类损失;通过预测层对强数据增强样本的特征表示进行预测,以图像分类结果p为指示函数计算对比损失;通过对比损失和分类损失反向传播优化网络。本发明能够明显提升网络性能。
背景技术
近年来,深度神经网络模型因其强大的特征表示与学习能力在诸多领域取得巨大成功,同时深度神经网络模型的性能表现往往依赖于高质量的标注数据。产业界有句谚语把人工智能描述为“有多少人工(即标注)就有多少智能”,说明了数据标注对人工智能的重要性不言而喻。对数据的标注通常有人工标注与模型自动标注两种方式,前者受标注人员专业领域知识水平,数据质量甚至是恶意的数据投毒等诸多因素制约不可避免的产生一定比例的错误标注数据(标签噪声);后者的标注模型存在自身的精度以及“模式坍塌”等因素的影响,同样不可避免产生一定比例的错误标注数据(标签噪声)。过多的错误标注标数据(标签噪声)会导致训练集的数据分布发生变化甚至混乱,从而引发相关任务中模型性能下降,甚至产生特定的倾向性判别。
当前针对标签噪声主要有两类解决方案即噪声容纳和噪声过滤。噪声容纳是指通过建立对错误标注样本不太敏感的鲁棒性算法模型,从而弱化标签噪声对模型的影响;其代表有鲁棒损失函数、正则化等。例如,鲁棒损失函数通过在目标函数中设计对噪声更稳定的优化策略来减少噪声样本的负面影响,而正则化技术则通过约束模型复杂度来避免因噪声数据过拟合。然而,噪声容纳方法通常需要对噪声特性做出假设,当实际情况与假设不一致时,其性能可能会大幅下降。噪声过滤则是通过算法将数据中的噪声样本清除或修正后再返回模型进行训练;其代表有集成学习,自适应学习等技术。例如,集成学习方法通过对多个学习器进行投票,来降低噪声样本的影响,而自适应学习方法则通过动态调整样本权重,增强对干净样本的学习。然而,噪声过滤通常需要根据具体数据分布调整参数或规则,导致迁移到其他任务或数据集时效果不够稳定。
综上所述,目前这两类方法在应对以深度神经网络模型为代表的海量数据训练样本中的标签噪声问题时仍显不足。这主要是因为两类方法对任务场景、数据分布以及噪声特性具有较强的依赖性,在实际应用中往往需要针对具体问题进行定制化设计,缺乏足够的通用性。因此,亟需一种对标签噪声具有鲁棒性的通用表示学习方法来解决该问题。
实现思路