多模态遥感图像分类新方法:模态信息约束技术
2025-02-14 14:08
No.1339961424088408064
技术概要
PDF全文
本技术提出了一种创新的多模态遥感图像地物分类技术,该技术利用模态信息约束来优化分类过程。通过MDF解码器,该方法能够自适应地学习并融合模态共享与模态差异特征的权重,实现从多尺度角度对模态共享特征的自适应控制,以提高分类的准确性和效率。
背景技术
遥感图像地物分类是地球观测中的一项基本任务,其主要目标是将遥感图像中的每个像素分配给预定义的地物类别。该技术在城市规划、环境保护、精准农业等方面发挥了重要作用。光学图像通常包含丰富的光谱和纹理信息,但易受气候和光照条件的影响,难以准确分类地物。相比之下,合成孔径雷达(SAR)图像可以提供结构和散射特征,增强了对地物的特征多样性。最近,许多研究集中于使用光学和SAR数据进行多模态遥感图像地物分类,以克服性能瓶颈。 在多模态遥感图像地物分类中,整合每种模态的互补信息至关重要。其中,探索模态共享和模态专有信息之间的关系有助于整合模态的互补信息,从而实现全面的解译。在对地观测时,光学图像和SAR图像都同时包含模态共享信息和模态专有信息。其中,模态共享信息代表了两种模态的共同特征,有助于弥合它们之间的差异,如地物的形状和位置;模态专有信息代表每种模态中对于准确描述地物至关重要的独特属性,如光谱和散射特征。目前多模态遥感图像融合方法主要基于深度特征级融合,这些方法通常会对光学和SAR的特征采用如拼接、交叉注意力等融合算子,通过学习融合权重获得融合特征,从而间接调控模态共享和模态专有信息的贡献,并取得了较好的分类结果。 然而,在例如光学图像中的复杂地物分布或SAR图像中的斑点噪声等具有挑战性的场景中,这些现有多模态遥感图像融合方法的性能可能存在性能瓶颈。光学特征和SAR特征都同时包含模态共享和模态专有信息,现有方法直接学习光学和SAR特征的融合权重,难以平衡模态共享和模态专有信息的贡献,从而导致模态专有信息丢失。为了提升多模态遥感图像地物分类方法在复杂地物分布或噪声条件下等具有挑战性场景中的分类性能,需要解决上述关键问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王爵  魏天宇  魏鑫  陈禾  刘文超  陈亮
技术所属: 北京理工大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利