本技术公开了一种基于邻域特征增强的流扩散点云生成方法,包括:原始点云预处理;构建一个多尺度邻域特征聚合模块,该模块通过不同尺度的最近邻采样获取每个点的邻域坐标,并将这些坐标聚合成粗略的全局特征;构建一个邻域注意力特征增强模块,利用邻域坐标空间中的几何信息来增强特征空间中的粗略特征;利用点体素卷积神经网络减少增强特征中的冗余特征,并输出点云的潜在向量;设计一个特征到流数据转换模块,将潜在向量转换为数据一致的先验流特征,并无缝集成到降噪扩散模型中,以便从噪声点云中准确生成。本专利通过邻域特征增强和流扩散的结合,有效地生成高质量的3D点云。
背景技术
点云数据通过提供详细的视觉和空间信息,提高用户沉浸感和交互性,增强了多媒体应用。它在虚拟现实、增强现实和混合现实中的使用可以创建逼真的3D环境。然而,获取点云数据是耗时的并且依赖于传感器。因此,有必要应用人工智能方法来推进点云生成技术,以便为多媒体领域提供高保真数据支持。
近年来,基于深度学习的方法已经成为三维点云生成的主流。这个过程通常包括几个关键步骤。第一步是数据预处理,包括去噪、归一化和数据扩充,以确保模型输入的一致性和多样性。接下来是特征提取,深度神经网络,如卷积神经网络,从点云中提取高维特征,捕捉点之间的复杂关系和几何结构。第三步涉及生成模型的设计和训练,如变分自动编码器,生成对抗网络,标准化流模型,或自回归模型,其中每一种都采用不同的生成方法来生成新的点云。
最接近现有技术及其评析:
最接近现有技术中,也有学者提出DualGAN算法(Wen C,Yu B,Tao D.Learningprogressive point embeddings for 3d point cloud generation[C]//Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:10266-10275.),通过使用两个对抗生成网络生成器的方法,对点云先进性上采样后在进行细化生成。PointFlow算法(Yang G,Huang X,Hao Z,et al.Pointflow:3d point cloudgeneration with continuous normalizing flows[C]//Proceedings of the IEEE/CVFinternational conference on computer vision.2019:4541-4550.),使用连续归一化流和变分推理的3D点云模型,优势在于与对抗生成网络相比的稳定性。SoftFlow算法(Kim H,Lee H,Kang W H,et al.Softflow:Probabilistic framework for normalizing flow onmanifolds[J].Advances in Neural Information Processing Systems,2020,33:16388-16397),它通过对扰动的输入数据进行条件分布来训练流形上的归一化流,从而避免维度不匹配问题。SetVae算法(Kim J,Yoo J,Lee J,et al.Setvae:Learning hierarchicalcomposition for generative model ing of set-structured data[C]//Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:15059-15068.),通过使用概率图模型和变分推理来生成多样化、复杂的点云。RPG算法(KolW J,Chiu C Y,Kuo Y L,et al.Rpg:Learning recurs ive point cloud generation[C]//2022IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2022:544-551.),通过递归扩展点的方式,逐步从粗到细生成3D点云,同时在生成过程中自动发现目标模型的语义部分并实现无监督的部分分割。PVD算法(Zhou L,DuY,Wu J.3d shape generation and completion through point-voxel diffusion[C]//Proceedings of the IEEE/CVF international conference on computer vision.2021:5826-5835.),通过将去噪扩散模型与混合点体素表示相结合,在一系列降噪操作下从高斯噪声中生成点云数据。TGN算法(Xu R,Hui L,Han Y,et al.Transformer-based PointCloud Generation Network[C]//Proceedings of the 31st ACM InternationalConference on Multimedia.2023:4169-4177.),通过基于Transfomer的插值模块和细化模块,结合局部和全局信息,逐步上采样点云特征,最终生成逼真的三维点云。这些方法虽然取得了较好的效果,但是通常使用分层卷积神经网络或共享全连接进行特征提取,这可能会在聚合空间特征时忽略一些邻域特征,在分步去噪中会引入不确定性和误差,特别是对于复杂的几何结构,这可能会影响完整的细节恢复并降低生成点云的质量。
实现思路