一种基于图神经网络的多域特征级融合表情识别方法
2025-02-22 08:36
No.1342777166823432192
技术概要
PDF全文
本技术公开了一种基于图神经网络的多域特征级融合表情识别方法,涉及计算机视觉技术领域,包括首先,对原始图像进行数据增强,基于关键点检测,按照三庭五眼对面部进行区域划分;其次,构建面部的图结构,并根据特征点所在区域为各个边赋予相应的权重,得到加权后的距离信息,并存储于邻接矩阵;然后通过图神经网络获取谱域特征和空域特征,通过多级卷积神经网络、ViT分别获取局部特征、上下文特征;之后,通过基于结构特征引导的特征融合网络进行多域特征融合,进而获得表情识别结果。因此,采用上述一种基于图神经网络的多域特征级融合表情识别方法,能够使模型更深入地理解表情的变化,增强识别能力,提升模型的鲁棒性、稳定性。
背景技术
表情的变化常被用来作为判断情绪变化的重要依据。根据持续时间和幅度的差异,表情被分为宏表情和微表情。现有的研究将表情识别任务分为宏表情识别和微表情识别两个任务,分别利用宏表情数据集和微表情数据集训练不同的模型,利用训练后的模型分别进行宏表情检测和微表情的检测。与宏表情相比,微表情持续时间短,幅度低,因此需要分别对宏表情和微表情提取不同的特征。而准确提取具有差异性的特征,可以有效地提高识别的准确率。 目前,特征提取方法可以分为传统方法和深度学习方法。传统方法包括HOG特征、LBP特征、SIFT特征、颜色特征等,但传统方法容易受到光照变化,姿态变化和遮挡等外因的干扰。深度学习方法以卷积神经网络为主,卷积神经网络可以自动的进行特征的提取,被广泛的应用于表情识别任务中。然而,现有的研究主要是在图像的空间域进行特征提取,并未考虑图像结构特征、局部特征以及全局特征之间的关系。尽管卷积对图像的局部特征的表达能力较强,但却无法反映特征之间的关联,这会严重影响情绪识别的准确率。 另一方面,由于图像较大,需要将图像下采样为较小的图像,这会导致信息丢失和推理精度的下降。此外,表情具有隐私性,公开的表情数据集较少,并且数据集中的类间数据分布不均,在少量训练数据情况下,分类准确率低,模型泛化性差。 因此,有必要提供一种多域特征级融合表情识别方法,能够在少量训练数据情况下,准确的提取到具有差异性的特征,实现在同一识别框架下进行宏表请和微表情识别。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张俊杰  费程  王蓉  孙文帅  何伏刚
技术所属: 中国人民公安大学  首都师范大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利