本申请实施例公开了一种关键点旋转模型的训练方法及装置、电子设备和存储介质,涉及计算机与图像处理技术领域,能够得到具备利用关键点的三维坐标确定出旋转值的关键点旋转模型。具体方案包括:获取至少一组样本数据;样本数据包括样本人物的关键点的样本坐标和样本旋转值;其中,样本坐标为样本人物的关键点在真实三维空间中的三维坐标;基于初始关键点旋转模型对样本人物的关键点的样本坐标处理,得到预测旋转值;基于预测旋转值和样本旋转值,迭代更新初始关键点旋转模型,以得到关键点旋转模型;关键点旋转模型具备基于人物的关键点的三维坐标得到人物的旋转值的功能。
背景技术
数字人已经成为游戏,动画和电影领域等不可或缺的工具,如何高效准确驱动数字人是被普遍关注的技术问题。
在相关技术中,可以通过动捕设备获取真人的全部动作信息,直接驱动虚拟空间中的数字人按照真人的动作信息运动。但是动捕设备成本和使用复杂度极高。
在另一些相关技术中,通过单目相机采集真人的视频数据,并在视频数据中提前人体关键点位置,获取各关键点的动作信息,以通过各关键点的动作信息实现数字人的驱动。但是这种方法只采用了单目相机,获取的视频数据视角单一,在实际应用过程中位于摄像头盲区的关键点无法被捕捉到,造成数字人驱动过程中位于摄像头盲区的关键点的动作信息与其他关键点不一致,在视觉上表现为数字人的抖动、关节旋转错位、部分位置丢失。
实现思路