一种基于邻域特征增强的流扩散模型点云生成方法
2025-02-26 12:21
No.1344283265405820928
技术概要
PDF全文
本技术公开了一种基于邻域特征增强的流扩散点云生成方法,包括:原始点云预处理;构建一个多尺度邻域特征聚合模块,该模块通过不同尺度的最近邻采样获取每个点的邻域坐标,并将这些坐标聚合成粗略的全局特征;构建一个邻域注意力特征增强模块,利用邻域坐标空间中的几何信息来增强特征空间中的粗略特征;利用点体素卷积神经网络减少增强特征中的冗余特征,并输出点云的潜在向量;设计一个特征到流数据转换模块,将潜在向量转换为数据一致的先验流特征,并无缝集成到降噪扩散模型中,以便从噪声点云中准确生成。本专利通过邻域特征增强和流扩散的结合,有效地生成高质量的3D点云。
背景技术
点云数据通过提供详细的视觉和空间信息,提高用户沉浸感和交互性,增强了多媒体应用。它在虚拟现实、增强现实和混合现实中的使用可以创建逼真的3D环境。然而,获取点云数据是耗时的并且依赖于传感器。因此,有必要应用人工智能方法来推进点云生成技术,以便为多媒体领域提供高保真数据支持。 近年来,基于深度学习的方法已经成为三维点云生成的主流。这个过程通常包括几个关键步骤。第一步是数据预处理,包括去噪、归一化和数据扩充,以确保模型输入的一致性和多样性。接下来是特征提取,深度神经网络,如卷积神经网络,从点云中提取高维特征,捕捉点之间的复杂关系和几何结构。第三步涉及生成模型的设计和训练,如变分自动编码器,生成对抗网络,标准化流模型,或自回归模型,其中每一种都采用不同的生成方法来生成新的点云。 最接近现有技术及其评析: 最接近现有技术中,也有学者提出DualGAN算法(Wen C,Yu B,Tao D.Learningprogressive point embeddings for 3d point cloud generation[C]//Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:10266-10275.),通过使用两个对抗生成网络生成器的方法,对点云先进性上采样后在进行细化生成。PointFlow算法(Yang G,Huang X,Hao Z,et al.Pointflow:3d point cloudgeneration with continuous normalizing flows[C]//Proceedings of the IEEE/CVFinternational conference on computer vision.2019:4541-4550.),使用连续归一化流和变分推理的3D点云模型,优势在于与对抗生成网络相比的稳定性。SoftFlow算法(Kim H,Lee H,Kang W H,et al.Softflow:Probabilistic framework for normalizing flow onmanifolds[J].Advances in Neural Information Processing Systems,2020,33:16388-16397),它通过对扰动的输入数据进行条件分布来训练流形上的归一化流,从而避免维度不匹配问题。SetVae算法(Kim J,Yoo J,Lee J,et al.Setvae:Learning hierarchicalcomposition for generative model ing of set-structured data[C]//Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:15059-15068.),通过使用概率图模型和变分推理来生成多样化、复杂的点云。RPG算法(KolW J,Chiu C Y,Kuo Y L,et al.Rpg:Learning recurs ive point cloud generation[C]//2022IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2022:544-551.),通过递归扩展点的方式,逐步从粗到细生成3D点云,同时在生成过程中自动发现目标模型的语义部分并实现无监督的部分分割。PVD算法(Zhou L,DuY,Wu J.3d shape generation and completion through point-voxel diffusion[C]//Proceedings of the IEEE/CVF international conference on computer vision.2021:5826-5835.),通过将去噪扩散模型与混合点体素表示相结合,在一系列降噪操作下从高斯噪声中生成点云数据。TGN算法(Xu R,Hui L,Han Y,et al.Transformer-based PointCloud Generation Network[C]//Proceedings of the 31st ACM InternationalConference on Multimedia.2023:4169-4177.),通过基于Transfomer的插值模块和细化模块,结合局部和全局信息,逐步上采样点云特征,最终生成逼真的三维点云。这些方法虽然取得了较好的效果,但是通常使用分层卷积神经网络或共享全连接进行特征提取,这可能会在聚合空间特征时忽略一些邻域特征,在分步去噪中会引入不确定性和误差,特别是对于复杂的几何结构,这可能会影响完整的细节恢复并降低生成点云的质量。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张冬冬  王宏程
技术所属: 同济大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利