对抗领域自适应和共轭梯度核极限学习机的图像识别方法,其特征在于首先构建特征提取器获取源域和目标域的初步特征;然后构建对抗领域自适应网络优化两个领域特征,让源域和目标域特征提取器与鉴别器进行博弈,以此来减小目标域与源域的域间差异,并投影到一个公共的特征空间,找到最优的目标域特征。最后,构建分类器识别图像,构建共轭梯度核极限学习机作为分类器对最优目标域特征进行分类,得出分类结果。本技术的目的是提供一种轻量网络:对抗领域自适应和共轭梯度核极限学习机,解决现有深度学习对大量标注数据的依赖,降低图像识别中样本标注代价,降低硬件实现成本,实现跨领域的知识迁移,完成目标域无监督和高精度图像识别。
背景技术
深度学习已成为机器学习的研究热点[1][2]
,深度学习特别是深度卷积神经网络,能够从图像大数据中自动学习提取丰富的特征,它的研究成果被广泛的应用到各个领域。虽然深度学习方法取得了巨大成果,但是它具有如下问题:1)深度学习要求大量标记训练样本数据,很多领域专家标注非常昂贵,有些带标注的样本稀少;2)深度学习要求大量的内存和计算资源,否则训练过程将异常费时;3)训练深度神经网络常会因过拟合和收敛问题而变得非常复杂,常需要重复调整框架或者网络中的学习参数。深度学习的高性能与大量的标记样本有着密不可分的关系,其所需硬件的高要求配置导致硬件成本高昂,同时大量带标签的数据需求使得标记标签的成本较高,因此,如何利用现有带标签的领域数据知识来给没有标签的领域数据标注标签进行分类,这在各种应用领域,具有十分重要的意义。
领域自适应方法是解决上述领域知识迁移的主要方法之一,它能克服两个域之间数据分布和标签空间的差异,将带标签的源域知识迁移到没有标签的目标域,完成目标域的学习任务。领域自适应(Domain Adaptation,DA[3]
)能在源域数据上学习性能良好的模型,自适应到分布不同甚至类别标签空间不同的目标域数据,解决无标注样本或少量标注样本的目标域数据的学习任务。目前,领域自适应分为大体分为两类,一种方法是基于统计矩对齐的方法,它利用距离函数最小化源域和目标域的分布差异,包括最大平均偏差(MMD)[4]
、中心矩偏差(CMD)[5]
和二阶统计对齐。另一种是基于对抗的方法,它通过对抗性训练来缩短两个域之间的距离,获得有效的跨域特征。现有的对抗领域自适应方法主要分为三类[3]
:基于梯度反转的方法、基于极大极小优化的方法和基于生成对抗网络的方法。前两种方法通过域鉴别器监督下的特征级域混淆来最小化域分布差异,后一种方法通过合成难以区分的目标域图像来实现像素级域迁移。
为了解决深度学习的上述问题,提出一种无监督领域自适应的图像识别方法:对抗领域自适应和共轭梯度核极限学习机,既能解决图像识别应用中图像标注样本不足的问题,又能实现跨域知识迁移和高精度的图像分类。
[1]K.He,X.Zhang,S.Ren,J.Sun.Deep residual learning for imagerecognition,in:IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.770-778.doi:10.1109/CVPR.2016.90.
[2]C.Szegedy,S.Ioffe,V.Vanhoucke,A.Alemi.Inception-v4,inception-resNet and the impact of residual connections on learning,in:AAAI Conferenceon Artificial Intelligence,2016.
[3]L.Zhang,X.Gao.Transfer adaptation learning:a decade survey.IEEETransactions on Neural Networks and Learning Systems,2024,35(1):23-44.
[4]Tzeng,E.,Hoffman,J.,Zhang,et al.Deep domain confusion:Maximizingfor domain invariance[J].Computing Research Repository,2014.
[5]Zellinger W,Grubinger T,Lughofer,E,et al.Central momentdiscrepancy(CMD)for domain-invariant representation learning[C].InternationalConference on Learning Representations,2017.
实现思路