本技术提供一种道路场景图生成方法、装置、设备及介质,涉及自动驾驶技术领域,方法包括:以自车获取的多视角图像为输入数据,输入多任务交通元素检测模型,获得BEV空间下的交通元素,所述交通元素包括交通实体和矢量地图元素;根据所述交通元素在BEV空间下的位置信息,计算获得不同交通元素之间的空间关系,根据不同交通元素之间的空间关系和交通实体的属性,计算获得不同交通元素之间的交互关系;根据所述交通元素以及不同交通元素之间的空间关系和交互关系,构建道路场景图。本发明构建了包含交通实体和地图元素、融合动静态信息、顾及几何和语义信息的道路场景图,提升了自动驾驶车辆对复杂、动态道路环境的整体感知和深度理解。
背景技术
构建适用于自动驾驶车辆的专用地图是当前的研究热点。从地图学的原理和视角来看,自动驾驶车辆使用的地图,既需要记录环境中事物和现象的位置、几何和属性等信息,也需要反映它们的空间分布、组合、关联关系及其在时间中的变化和发展。目前,对道路场景中环境对象的几何和语义信息的提取已经相对成熟,形成了高精地图、自动驾驶地图、Occupancy地图、机器地图等典型地图形式,并建立了OpenDRIVE等标准。自动驾驶对地图信息的需求还包括关联关系信息,因为孤立地关注对象几何语义而忽视对象之间的关联关系,将会导致自动驾驶车辆难以应对道路场景中要素间复杂动态的相互影响问题。特别是随着自动道路场景中涉及的语义信息越来越复杂,例如十字路口等特殊的道路场景,准确、全面的关系信息甚至比高精度的几何数据更为重要。
道路场景图(Road Scene Graph)被认为是为自动驾驶车辆提供地图信息的有效途径之一。道路场景图的主要目的是通过自动识别道路场景中的交通元素及其之间的关系,并以图的形式进行结构化表示。道路场景图能够在复杂、动态的道路环境中显示地建模交通元素之间的关系,能够提高自动驾驶车辆对道路环境的理解和推理能力;还可以将场景图作为中间表示进行语义推理,使得自动驾驶车辆能够评估和预测几何信息无法感知的潜在风险。然而,道路场景图本质上是一种道路场景元素及其之间关系的图表示,其与位置、几何、属性、空间关系和语义关系统一表示的地图还存在一定的差距。
从为自动驾驶车辆提供位置、几何、属性、空间关系和语义关系统一表示的地图视角来看,现有道路元素检测和场景图生成相关研究存在下述问题:(1)现有道路场景图存在关系模式不明确的问题。大多数场景图关系模式只考虑交通实体之间的空间关系,没有表达交通元素之间的丰富语义关系以及相互作用影响关系;大多数研究对交互关系的定义是无向的,不区分主客体,导致许多关系的概念之间存在交叉。(2)道路场景要素内容的联合统一表示问题。从研究现状来看,目前针对3D目标检测、道路元素检测和道路场景关系提取的研究,处于一种相对分离的状态,缺乏道路场景各类要素及其相互关系的联合统一表示。例如,高精度地图已经实现了从静态数据到动静态数据耦合的演进,但场景元素之间的关系表达较弱;道路场景图重点考虑场景中的交通实体及其关系表示,但忽略了对地图元素的检测。
实现思路