基于深度学习的数字人交互视频业务实时分析方法及系统
2025-02-25 09:26
No.1343876935364911104
技术概要
PDF全文
本技术公开了基于深度学习的数字人交互视频业务实时分析方法及系统,涉及人机交互领域;包括:数据采集模块,其负责采集用户与数字人的交互视频数据,包括用户的语音、手势和面部表情的多模态数据;预处理模块,对采集到的视频数据进行预处理,包括去躁、增强、特征提取、针对语音数据进行语音情感分析、针对手势和面部表情数据进行关键帧提取和特征点标注;深度学习分析模块,建立深度学习模型,利用深度学习模型识别用户的多模态数据。本发明通过采集用户的语音、手势、面部表情的多模数据,进行特征处理后进行多模融合,再进行加权处理后识别意图,从而能直接识别用户意图,解决了局限性问题。
背景技术
随着虚拟现实(VR)、增强现实(AR)及全息通信技术的快速发展,数字人作为重要的交互媒介,在影视、游戏、教育、医疗等多个领域得到广泛应用。 经检索,中国专利公开号为CN116248812B的专利,公开了一种基于数字人交互视频的业务办理方法、存储介质及系统,该方法先生成多个固定话术数字人视频和灵活话术数字人视频,然后将灵活话术数字人视频和对应业务办理流程的固定话术数字人视频合并形成数字人交互视频并展示给用户,再根据用户的响应信息选取对应的其他固定话术数字人视频,与灵活话术数字人视频合并形成新的数字人交互视频并展示给用户,不断重复直至达到业务办理预设条件后进行业务办理。 上述专利存在以下不足,其利用用户给出的响应还需要用户韧性操作,无法基于用于的多模数据分析用户意图,所以还存在一定的局限性。 为此,本发明提出基于深度学习的数字人交互视频业务实时分析方法及系统
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王冠
技术所属: 上海维迈数字科技有限公司 维迈科技股份有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利