基于空间-光谱Token学习网络的全色锐化方法
2025-02-28 08:38
No.1344951950344724480
技术概要
PDF全文
本技术公开了一种基于空间‑光谱Token学习网络的全色锐化方法(SSTL),本发明针对全色锐化任务提出了一种可以重构和融合空间、光谱特征的神经网络框架,即空间‑光谱Token学习网络,其包含三个新颖模块。傅立叶引导的Token重建模块通过应用复杂的特征交互规则,在从全色图像和低分辨率多光谱图像中提取的傅立叶域Token的交互特征,实现光谱特性的重建;Token选择模块强制空间‑光谱Token学习网络从全色图像的最相关空间区域中重建高分辨率多光谱图像的空间特性;自适应Token交互模块在光谱特征的通道交互过程中,使用从Token选择模块学习到的权重,从而实现空间‑光谱特性的无缝集成。此外,在公开数据集上的实验证实了本发明方法的有效性。
背景技术
随着地球观测和监测需求的不断增加,现有的光学卫星能够同时从同一场景记录低分辨率多光谱(LR-MS)图像和对应的高分辨率全色(PAN)图像。由于现有卫星传感器的物理限制,所记录的LR-MS图像通常包含丰富的光谱特征但空间特征相对稀疏,而它们对应的PAN图像则包含丰富的空间特征但光谱特征稀疏。然而,在实际应用中,如在农林业、气象、生态环境评估、城市规划与建设、军事侦察与监测等领域,具有多个光谱波段且空间分辨率较高的遥感图像,即高分辨率多光谱(HR-MS)图像发挥着更为重要的作用。 为了解决这一问题,研究人员提出了全色锐化方法。它通过融合PAN和LR-MS图像中的空间、光谱特征来获得HR-MS图像。 早期的全色锐化方法主要包括组件替换(CS)方法、多分辨率分析(MRA)方法和基于变分优化(VO)的方法。具体的,CS方法利用PAN图像中的空间细节来替换LR-MS图像中相应的细节,尽管这个方法简单且保真度高,但在融合过程中往往会引入光谱畸变;MRA方法将PAN图像中的空间结构注入到LR-MS图像中,更好地保留了光谱特性,但会造成空间畸变。基于VO的方法根据物理先验构建正则化函数来优化模型,虽然取得了更好的结果,但优化效果有限。 近年来,基于卷积神经网络的全色锐化方法因其在学习特定任务表示方面的强大能力而得到了广泛应用。这些方法主要采用两种融合策略来利用PAN图像和LR-MS图像的空间-光谱特性:图像级融合和特征级融合。图像级融合策略在将特征输入网络之前,直接将LR-MS图像和PAN图像沿通道维度拼接,这可能导致模型在特征提取过程中混淆光谱和空间信息,从而使其失真。同时,特征级融合策略通常利用双流网络分别从PAN图像中提取空间特征,从LR-MS图像中提取光谱特征,然后在潜在特征空间中将这些特征进行组合,然而,该策略在特征提取阶段缺乏PAN图像和LR-MS图像之间的模态交互,因此所学模型无法有效利用LR-MS图像和PAN图像之间的跨特征空间依赖性。 与CNN不同,Transformer风格的网络能够基于其多头注意力机制有效地捕获输入数据中不同顺序Token之间的长距离依赖性。因此,许多最近的研究将Transformer扩展到了全色锐化领域。然而,这些基于Transformer的方法仍然未能从空间-光谱特性的角度考虑PAN、LR-MS和目标HR-MS图像之间的关系。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张微  姜易臻  马梦婷  赵梦娇
技术所属: 浙江大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利