本技术涉及基于视图交互聚合的矢量地图构建方法和系统,获取可见光图像,分别提取可见光图像在像素级坐标系和摄像机坐标系下的特征,通过异步互学习融合模块得到融合特征;融合特征通过关键点预选取模块,得到深度实例特征和几何位置特征,并作为初始参考点;以融合特征,和基于关键点预选取模块得到的关键点查询与实例查询,作为目标检测算法的输入,得到的初始参考点作为目标检测算法额外的提示特征,得到预测的矢量地图元素标签以及所在的位置;预测的矢量地图元素标签以及所在的位置形成单帧的矢量地图,将历史帧中的丰富特征信息与当前帧中的稀疏特征进行聚合,以增强当前帧的稀疏特征,进一步通过检测头得到矢量地图。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
实现车辆自动驾驶期间需要得到实时更新的地图数据,即通过算法构建地图,许多构建地图的方法对深度信息过度依赖,在深度估计不准确时,地图生成质量大打折扣。同时,由于基于视觉的方法在光照不足和物体遮挡等极端情况,并且对诸如雨、雾和弱光等环境因素敏感造成地图构建中信息稀疏导致构建的不完整、不准确。因此,现有技术开始将地图构建方法聚焦于使用BEV(Bird Eye’s View,鸟瞰图)技术,进而构建精度更高的矢量化地图,帮助自动驾驶汽车的定位与规划。
现有的BEV地图生成主要分为两大模式:地图栅格化生成和地图矢量化生成。地图栅格化方法是利用传感器数据中提取到的关键特征点进行地图构建,然而由于其难以区分不同地图元素,且无法提供丰富的结构信息,因此需要大量的后处理工作才能供下游任务使用。
为解决上述问题,地图矢量化方法成为实时构建高精地图的研究的主流方向。与地图栅格化方法相比,地图以矢量化的方式生成在地图信息元素的更新和维护具有显著的优势,不仅能还原行车过程中地图信息,还能确保信息的完整性和实时性。但现有方法存在两个显著的问题:
第一,在考虑局部信息与全局信息方面存在不够全面的问题,传统的特征融合方法会导致特征冗余,尤其是在构建矢量化地图时,这种融合策略可能影响地图实例的区分度。
第二,在矢量化地图构建过程中,存在视觉信息特征稀疏的问题,现有的实例特征提取方法尚未能充分捕捉所有相关的视觉信息,导致信息稀疏引起的地图细节缺失的问题。
实现思路