一种融合局部特征与全局上下文信息的三维点云任务分析方法,属于三维点云任务分析领域,包括以下步骤:步骤1、构建点云数据集,过程如下:步骤1.1)、定义数据集;步骤1.2)、点云数据集预处理;步骤2、点云数据集采样,通过最远点采样FPS方式将原始点云数据集的点云数量下采样到固定值;步骤3、点云数据集分组;步骤4、局部特征提取;步骤5、邻域特征传播;步骤6、构建空间形状位置编码;步骤7、构建通道注意力;步骤8、局部特征增强,步骤9、全局上下文特征提取;步骤10、三维点云分类以及分割任务。本技术有效提高三维点云任务的精度。
背景技术
近年来,三维点云技术已在自动驾驶和智能机器人等多个领域得到广泛应用。与传统的二维图像数据不同,点云数据由一组无序且不规则的点组成。三维点云任务分析是该技术在实际应用中的一个关键组成部分,并且也是环境智能感知研究的热点。在实现对三维空间的理解与感知方面,三维点云任务分析扮演着至关重要的角色。
作为一种对三维空间进行精细化处理的感知技术,三维点云任务分析的效果要求高效、稳定且准确。随着深度学习技术在图像识别、生成和分割等任务中展现出显著的稳定性、可靠性和自动特征提取能力,许多研究逐渐将深度学习应用于三维点云任务。然而,由于点云数据本身的无序性和稀疏性,深度学习在处理三维点云时面临诸多挑战。
受到卷积神经网络在图像任务中成功应用的启发,研究者们尝试将不规则的点云数据转换为图像或体素等规则形式,以便应用卷积神经网络进行特征提取。主要的研究方向包括基于多视图和基于体素的方法。基于多视图的方法将点云投影到二维平面上,利用成熟的二维卷积进行处理;而基于体素的方法则首先将三维空间划分为规则的体素,然后对体素数据应用三维卷积。这些方法虽然表现良好,但由于体素化过程可能导致位置信息的损失和细粒度特征的缺乏,因此无法很好地保留点云的三维几何信息。
为了解决这些问题,研究人员开发了直接使用点特征和位置信息的基于点的方法,以保持位置信息的完整性。这种思路催生了不同的特征聚合方法,用于学习高层次的语义特征。例如,PointNet引入了一种基于多层感知机(MLP)的方法来处理三维任务,但其特征提取仍局限于局部信息。为此,PointNet++通过引入分层的抽样策略来改进PointNet的能力。而DenseKPNet则通过多尺度卷积和密度连接,建立局部特征与高级几何信息之间的互补关系,以提高点云任务的准确性和细粒度特征的提取能力。
最近,Transformer逐渐成为主流的深度学习模型,它解决了长期依赖的问题,并在大多数计算机视觉任务中获得了出色的性能,受Transformer在二维视觉任务中取得的重大成就的启发,研究人员开发了大量用于三维点云任务分析的方法。Transformer在学习几何特征的语义信息方面具有天然的优势。PCT作为纯粹的Transformer网络,首先提出了邻域嵌入将点云映射到高维的架构特征空间。PU-Transformer是第一个为点云上采样引入的Transformer的模型,开发了一种新的多头自注意力结构变体,以增强特征图的逐点和通道关系。OctForme在八进制化过程中继承顺序,类似于z顺序,提供可扩展性,在减少计算量的同时也拥有良好的性能,但仍受八叉树结构本身的约束。另一方面,FlatFormer采用基于窗口的排序策略对点进行分组支柱,类似于窗口分区。然而,这种设计在感受野缺乏可扩展性。但是,这些方法仅仅将点云间的相对位置关系作为局部几何特征,忽略了点云之间的形状关系,点云的丰富形状语义位置信息精细化仍然有限。
实现思路