本技术公开了一种基于图神经网络的多域特征级融合表情识别方法,涉及计算机视觉技术领域,包括首先,对原始图像进行数据增强,基于关键点检测,按照三庭五眼对面部进行区域划分;其次,构建面部的图结构,并根据特征点所在区域为各个边赋予相应的权重,得到加权后的距离信息,并存储于邻接矩阵;然后通过图神经网络获取谱域特征和空域特征,通过多级卷积神经网络、ViT分别获取局部特征、上下文特征;之后,通过基于结构特征引导的特征融合网络进行多域特征融合,进而获得表情识别结果。因此,采用上述一种基于图神经网络的多域特征级融合表情识别方法,能够使模型更深入地理解表情的变化,增强识别能力,提升模型的鲁棒性、稳定性。
背景技术
表情的变化常被用来作为判断情绪变化的重要依据。根据持续时间和幅度的差异,表情被分为宏表情和微表情。现有的研究将表情识别任务分为宏表情识别和微表情识别两个任务,分别利用宏表情数据集和微表情数据集训练不同的模型,利用训练后的模型分别进行宏表情检测和微表情的检测。与宏表情相比,微表情持续时间短,幅度低,因此需要分别对宏表情和微表情提取不同的特征。而准确提取具有差异性的特征,可以有效地提高识别的准确率。
目前,特征提取方法可以分为传统方法和深度学习方法。传统方法包括HOG特征、LBP特征、SIFT特征、颜色特征等,但传统方法容易受到光照变化,姿态变化和遮挡等外因的干扰。深度学习方法以卷积神经网络为主,卷积神经网络可以自动的进行特征的提取,被广泛的应用于表情识别任务中。然而,现有的研究主要是在图像的空间域进行特征提取,并未考虑图像结构特征、局部特征以及全局特征之间的关系。尽管卷积对图像的局部特征的表达能力较强,但却无法反映特征之间的关联,这会严重影响情绪识别的准确率。
另一方面,由于图像较大,需要将图像下采样为较小的图像,这会导致信息丢失和推理精度的下降。此外,表情具有隐私性,公开的表情数据集较少,并且数据集中的类间数据分布不均,在少量训练数据情况下,分类准确率低,模型泛化性差。
因此,有必要提供一种多域特征级融合表情识别方法,能够在少量训练数据情况下,准确的提取到具有差异性的特征,实现在同一识别框架下进行宏表请和微表情识别。
实现思路