视频驱动数字人表情模型的生成方法、装置及设备
2025-02-26 11:10
No.1344265485998628864
技术概要
PDF全文
本申请提供了一种视频驱动数字人表情模型的生成方法、装置及设备,该装置包括:获取样本数据,样本数据包括样本数字人视频以及样本用户视频;基于待训练视频驱动数字人表情模型对样本数字人图像以及用户表情特征进行编码,得到样本编码特征;基于待训练视频驱动数字人表情模型对样本编码特征进行卷积,得到样本卷积特征;基于待训练视频驱动人表情模型对样本卷积特征进行超分,得到输出数字人图像,输出数字人图像包括数字人表情;对输出数字人图像以及样本数字人图像进行计算,得到损失函数值;基于损失函数值对待训练视频驱动数字表情模型的模型参数进行更新。本申请的技术方案,可以实时输出高清的数字人表情图像序列。
背景技术
视频驱动数字人表情的研究是自然人机交互领域的重要内容。其中,数字人为运用数字技术创造出来的、与人类形象接近的数字化人物形象。这些数字人存在于数字空间中,具有拟人或真人的外貌、形态和性格特征。视频驱动数字人表情通过视频获取用户的面部表情,通过用户的面部表情驱动被数字人视频,合成带有用户的面部表情的数字人视频的过程。 相关技术中,视频驱动数字人表情的研究主要集中在表情效果的优化方面。例如,在低分辨率上达到较好的表情迁移效果。 但是,上述视频驱动数字人表情技术,由于是分辨率较低,进而合成的数字人视频中数字人表情的清晰度较低。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
司马华鹏廖铮
技术所属: 南京硅基智能科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利