本技术公开了一种基于可微渲染的动物表面运动捕捉方法,包括:基于CT扫描的高精度动物网格模版构建,多视角同步动物运动图像采集,基于深度学习的监督信息提取以及基于可微渲染的网格配准,利用基于可微渲染的网格配准算法,计算出动物运动状态下的网格,实现动物表面运动捕捉。本发明可以得到动物运动状态下的三维网格,能够反映动物的运动状态、表面形状以及颜色纹理,与传统的动物行为捕捉算法相比,更为精确详细地描述了动物的行为信息,为动物行为分析提供了有力支撑。
背景技术
对动物行为的精确感知在基础科学及工程应用方面具有重要意义。在基础科学方面,精确、智能、高效的动物运动感知方法,有助于研究人员方便地获取动物的个体行为与社会行为,为解决神经科学、动物行为学及仿生学等学科的重要科学问题提供新的研究思路,有助于揭示动物通讯、择偶等行为的神经机理。在工程应用方面,对于动物运动行为的深入研究,有助于实现复杂的动物运动行为调控,推动构建系统结构简单、运动能力优越、系统能耗优化、隐蔽性能优良的新一代动物机器人,在科学研究、危险环境搜救、气象观测、工业生产等众多领域拥有广阔的应用前景。
随着计算机视觉及机器学习技术的发展,动物行为感知技术呈现出由人工化向智能化、由单一模态向多模态、由平面向立体、由低精度向高精度、由稀疏表示向密集表示、由单个个体向多个体交互的发展趋势。目前的主流方法聚焦于动物运动状态下的二维及三维关键点估计,二维关键点估计方面的代表性方法为DeepLabCut,该方法基于深度神经网络,实现了动物身体关键点在图像中位置的准确预测。三维关键点估计的代表性方法为Anipose,该方法在DeepLabCut的基础上使用多相机三角测量以及时空滤波,有效获取了动物身体关键点在三维空间中的位置。
然而,关键点是对动物身体的稀疏表示,将动物身体简化为若干关键点的做法丢失了动物的身体表面形状、颜色纹理以及运动状态等重要信息。三维网格作为对动物身体的稠密表示,有效弥补了关键点表示存在的缺陷,能够更为精细的反映动物信息。由于三维网格相较于关键点具有更为复杂的数据形式、而动物在运动状态下又具有快速的表面变形、且存在遮挡、运动模糊等复杂情况,现有方法难以实现动物运动状态下的表面捕捉。
实现思路