面部动作单元识别技术:CLIP与多模态掩码提示学习
2025-02-15 10:34
No.1340269940632199168
技术概要
PDF全文
本技术介绍了一种结合CLIP和多模态掩码提示学习的面部动作单元识别方法。该方法通过以下步骤实现:首先,设计基于AU先验位置的多模态共享AU提示,以提高识别准确性。
背景技术
面部表情识别在情感计算、人机交互等领域具有广泛应用。面部动作单元(ActionUnit,AU)是描述面部表情的基本单元,准确识别AU对于理解人的情绪状态至关重要。然而,现有的AU识别方法通常需要大量标注数据,而标注过程耗时、昂贵且容易出错,限制了AU识别性能的进一步提升。 由于AU的局部性特点,许多方法尝试采用区域的人脸特征进行AU识别。PAttNet裁剪特定AU的面部区域,并采用不同的CNN进行编码,通过注意力机制对每个块加权进行AU识别。GLEE-Net设计了一个局部分支,专注于特定的局部面部区域。JAA-Net联合进行AU识别和人脸特征点识别,预测的特征点用于计算每个AU的注意力图。然而此类方法忽略了不同面部肌肉之间的一些依赖关系。例如,高兴通常可以由AU6(脸颊提起),AU12(拉动嘴角),AU25(嘴唇微张)的组合来表示。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
陈海丰  唐佩  李健  李溪  常亚珂  索伊凡
技术所属: 陕西科技大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利