本技术公开了一种基于扩散模型的毫米波雷达点云生成方法,包括:获取时空对齐的激光雷达点云数据和毫米波雷达数据;将所述激光雷达点云数据压缩至二维,对所述毫米波雷达数据进行二维快速傅里叶变换,得到维度相同的压缩点云数据和毫米波距离—方位角热图并进行串接,得到串接数据;基于马尔科夫链,对所述串接数据进行前向扩散;对前向扩散后的串接数据,训练逆扩散网络对逆向马尔科夫链的转移核进行预测,以学习毫米波雷达域到激光雷达域的映射关系;在部署阶段,仅需获取毫米波雷达数据,经预处理后输入训练后的逆扩散网络,从而生成类激光雷达点云,以实现高质量毫米波雷达点云生成。
背景技术
在雨雾、沙尘、硝烟等恶劣环境中,主流激光雷达和双目相机等光学传感器易发生退化甚至失效,无法在这些环境下实现对环境的精准感知与自主导航。与二者相比,毫米波雷达由于其较长的波长,不受细小颗粒的影响,因而对多数极端天气环境鲁棒。
雷达系统常用恒虚警率检测器(Constant False Alarm Rate,CFAR)实现目标检测,算法首先在待测单元周围设置保护单元,以消除待测单元信号在周围的能量泄露,然后在保护单元之外一定范围选择参考单元进行功率估计,确定阈值。为提高检测性能或降低计算开销,亦有(CA)-CFAR, (OS)-CFAR等改进算法。
然而,在应用于自动驾驶、机器人自主导航等环境杂乱且稠密的场景时,背景噪声与干扰水平显著提高,且难以建模,以上算法难以适用。为满足无人系统自主导航时的需要,学界基于深度学习算法,提出了诸多解决方案,用于目标检测、里程计、地图构建等任务。其中,亦有一些方法关注毫米波雷达点云生成。这些方法均利用经过时间同步与外参标定的激光雷达—毫米波雷达数据,如:RadarHD方法基于U-Net网络框架,将毫米波雷达的距离-水平方位角热图作为网络输入,再通过交叉熵损失和Dice损失的监督,网络基于毫米波雷达数据生成二维类激光雷达点云; RPDNet算法将毫米波雷达的距离-速度热图作为网络输入,基于GAN网络进行对抗学习,以提高生成性能; DREAM-PCD算法,结合了传统雷达信号处理与深度学习算法,首先对多帧毫米波雷达点云进行非相参积累(Non-coherentaccumulation)与合成孔径积累(Synthetic Aperture Accumulation),以分别提高原始信号的信噪比与角分辨率,基于DGCNN网络,对增强后的毫米波雷达点云进行监督学习,得到高分辨率毫米波雷达点云。
现有的毫米波雷达点云生成技术包括基于传统数据处理算法的多重信号分类(Mutiple Signal Classification,MUSIC)、CFAR及其改进算法;以及基于深度学习的RadarHD, RPDNe]
、DREAM-PCD等方案。
与基于数字信号处理手段的传统点云生成方法相比,现有基于深度学习的算法方案能够生成相对稠密的点云。给定成对的激光雷达点云,通过逐像素损失函数或对抗学习进行梯度下降,深度神经网络可以学习对毫米波雷达信号进行去噪和上采样,得到类激光雷达点云。不过,以上方法采用的网络框架不具备足够生成能力,因而无法精确恢复点云结构信息,且生成的毫米波雷达点云缺少障碍物边缘特征,在精度以及稠密度方面依然远不及激光雷达点云。网络推理得出的毫米波雷达点云优于上图所示的传统方法所得点云,可以描绘出障碍物轮廓,但丢失了诸多细节,且缺乏边缘特征,较为模糊,依然难以应用于复杂场景。
此外,亦有方法如《Gao X, Roy S, Xing G. MIMO-SAR: A hierarchical high-resolution imaging algorithm for mmWave FMCW radar in autonomous driving[J].IEEE Transactions on Vehicular Technology, 2021, 70(8): 7322-7334.》借鉴雷达系统中的合成孔径雷达(Synthetic Aperture Radar,SAR)技术,在已知传感器位姿的前提下对将时间上连续的多帧传感器数据进行相干处理,实现增大雷达孔径并以此提高分辨率的效果。DREAM-PCD方法也在数据预处理时利用了SAR技术。然而,该技术要求传感器位姿已知,且成像效果对位姿精度十分敏感,而在本发明所关注的恶劣环境自主导航场景下,往往仅有毫米波雷达可提供可靠的传感信息,无法满足高精位姿已知的条件。因而,基于SAR技术的毫米波雷达成像算法难以适用于无人系统恶劣环境自主导航。
实现思路