移动设备深度感知技术:ToF与立体视觉融合方案
2025-02-10 16:20
No.1338545103652003840
技术概要
PDF全文
本技术涉及一种结合ToF技术和立体视觉的移动设备深度感知技术及其装置。该技术通过构建一个多模态融合网络模型实现深度感知,模型由TM模块和SM模块顺序连接而成,旨在提升移动设备在复杂环境下的深度信息获取能力。
背景技术
准确的深度感知在移动设备的多种三维感知应用中起着至关重要的作用,尤其是依赖深度的任务,如三维重建、三维分割、3D姿态估计、AR和场景理解等,如果没有精确的深度值,应用程序难以提供最佳用户体验。移动设备上的深度感知通常依赖于基于RGB的立体匹配方法或飞行时间(ToF)传感器,但这两种方法的应用均会存在限制,例如立体匹配方法在纹理较弱或光照不均匀的区域中无法识别相应的像素,而移动ToF传感器不能测量具有镜面反射、低反射材料和平行于光轴的物体表面的深度,因而在现实场景中深度感知功能可能会失效,极大地限制了适用性。 而如果要将ToF检测方法与立体匹配方法进行融合,通常是使用以下两种融合方式: 一种是基于深度学习的融合方法,该方法是利用深度学习从数据集中学习多模态数据来估计场景深度。但是基于深度学习的融合方法需要依赖于大量的数据训练过程,泛化能力有限,特别是在遇到显著不同的场景组合、光照变化或表面反射率特性时,性能会显著的下降,且在ToF深度大量缺失的情况下,由于空间结构信息提取能力有效,还会导致深度插值和填充质量较差; 另一种是基于ToF置信度(Time of Flight Confidence)的融合方法,该方法是通过分析RGB图像和ToF深度图的质量来执行深度融合,ToF深度信息与立体匹配深度信息属于不同模态的信息,基于ToF置信度的融合方法仅是简单地使用插值合并跨模态数据,难以充分利用不同模态数据的特异性特征,导致ToF置信度评估方法的实际准确性并不高。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张德宇  龙婷婷  章晋睿  陈温昕
技术所属: 中南大学
相关技术
一种双频双模孔径共享共形超宽带天线及其应用 一种双频双模孔径共享共形超宽带天线及其应用
一种纤维素基嵌入式电路的制备方法 一种纤维素基嵌入式电路的制备方法
一种基于加载电容贴片的双层基片集成波导谐振器 一种基于加载电容贴片的双层基片集成波导谐振器
基于多模通信的配用电网络校时方法、装置、系统及芯片 基于多模通信的配用电网络校时方法、装置、系统及芯片
一种非接触式IC载板表面处理系统及方法 一种非接触式IC载板表面处理系统及方法
一种气溶胶打印制备高稳定界面电路的方法 一种气溶胶打印制备高稳定界面电路的方法
一种支持群智感知的端边云紧凑视频编码方法及系统 一种支持群智感知的端边云紧凑视频编码方法及系统
一种高阶双频带的带通频率选择表面 一种高阶双频带的带通频率选择表面
一种方便调换的变频器及其使用方法 一种方便调换的变频器及其使用方法
血压连续测量预测方法、装置、设备及存储介质 血压连续测量预测方法、装置、设备及存储介质
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利