本技术涉及元宇宙物体位姿估计和机器人领域,提供了一种在元宇宙环境中对移动对象自身及多个目标位姿进行多传感器融合同步估计的方法。该方法利用卡尔曼滤波器和光流内点技术,实现对移动对象和目标位姿的精确估计。
背景技术
同时定位和建图(SLAM)在元宇宙的空间对物理对象数字化至关重要,以便在未知环境下进行实时三维重建和定位,其中多传感器融合的方法表现出优异的性能。一些SLAM系统取得了较高的精度,但大多建立在静态环境假设下,并在优化过程中拒绝动态物体的观测,这导致系统难以在现实高动态场景中应用。此外,在一些应用中需要感知周围运动信息以保证安全和信息交互,如自动驾驶、高级增强现实(AR)。因此研究一种通过传感器融合实现自身和多目标位姿联合估计的紧密耦合方法具有重要意义。
最近研究将SLAM和多目标跟踪(MOT)结合在一起,同时估计自身和周围运动物体的位姿,展现了令人印象深刻的性能,表明了动态物体对于自身位姿估计是有益的。此外,在保证自身位姿估计精度的情况下同时估计周围物体的位姿尤为重要。这可以帮助机器人处理各种面向目标的任务,如路径规划、人机交互和行为预测。然而当前大多算法使用单一的测量传感器,由于现实世界中的复杂环境和机器人对周围物体的感知需求越来越高,系统难以对自我车辆和运动物体姿态实现准确和鲁棒的估计。因此对于上述问题,通过多传感器融合来获取更多信息是一个可靠的解决方案。
此外,当前大量工作专注于开发精确的3D检测器来估计物体姿态,这很大程度取决于检测器的性能,它们仅使用单帧信息提高检测精度,但忽略了与自我和周围物体相关的历史观测信息。为了在物体跟踪时保留更多有价值的观测信息,物体的数据关联发挥着至关重要的作用。现有的物体数据关联主要依靠视觉特征或2D或3D检测框的交集,不能完全避免由于物体快速运动等出现的遮挡或检测器错检而导致跟踪或优化失败。此外,一些研究专注于特定的对象或基于模型先验估计对象姿态,这往往针对于特定的场景设计且不易扩展于现实世界中的一般对象姿态估计。
实现思路