本技术提供一种基于开放域的跨模态遥感图像目标分割方法及装置,涉及遥感图像分割技术领域。该方法包括:对俯瞰遥感大图进行数据处理,获得文本引导遥感图像数据集;基于物体掩码标注获得前景标签数据以及背景标签数据;根据文本引导遥感图像数据集,通过开放域图像分割模型进行图像分割预测,获得分类预测结果;根据分类损失、图像特征重构损失和文本特征重构损失,对开放域图像分割模型进行参数优化,获得优化开放域图像分割模型;将待分割标注遥感图像输入优化开放域图像分割模型,获得遥感图像分割结果。本发明是一种开放性的分割类别灵活且分割目标精准的跨模态遥感图像目标分割方法。
背景技术
遥感图像是通过遥感技术获取的地表图像数据。遥感技术主要利用卫星、飞机或其他飞行器上搭载传感器,从远距离收集关于地表物体的信息。获益于超高空的俯视拍摄距离,遥感图像成像结果可以覆盖大范围区域,对成像结果的准确识别可以被广泛应用于环境监测、资源管理、城市规划、农业调查等领域。
不同于自然图像中物体清晰的边界与显著的特点;遥感图像中,地物之间的特征十分模糊,相关从业者难以直接辨别遥感图像中目标物体。即使辅以专业图像处理工具,受限于具体图像处理方法差别与操作者主观认识偏差,最终识别结果也会产生差异。导致遥感图像的分析往往有着较高的专业门槛,极大限制上述以遥感图像分析为基础的领域的发展速度。
近年来,数据驱动的建模方法由于不需要人为指定数据映射而得到重视与发展,基于数据驱动的图像处理方法也由于其灵活性与鲁棒性开始得到广泛关注。语义分割模型作为典型的数据驱动模型被广泛应用于图像分析领域。该类方法主要思路首先是建立图像分割掩码与标签间一一对应的大规模数据集,然后通过数据集训练模型来学习掩码与标签间的映射关系,实现对给定图像的像素级分类用于后续分析。该类方法为图像分析领域的发展做出了重要贡献。
但在实际应用与分析遥感图像时,传统语义分割模型无法有效识别遥感目标图像中常见小而分散的物体边界。该类典型方法,如U-Net,DeepLab等,仅关注目标前景的准确识别。然而,在遥感图像中,常常存在大量小而分散的前景对象,且背景与前景之间的分界即前景的边缘处模糊不清。这种情况下,上述方法由于缺乏对背景有效的约束和监督信息,导致对前景目标的边缘识别效果较差。
基于单模态的模型由于缺乏图像模态外的信息,其识别结果受限于训练时见到的数据类别而不具有扩展性。受遥感图像中环境复杂性与地物的多样性的影响,在实际使用时目标物不属于训练集中已定义的类别这一情况时常存在。针对该种情况,上述模型只能重新进行数据标注与训练,导致模型灵活性不足,同时还增加了模型更新和维护的复杂度。现有遥感检测模型受限于输入只有图像数据,模型无法学习物体间空间位置关系。而实际使用时,遥感图像分辨率极大,同一类别往往存在大量目标物,使用者往往只关注其中某一部分。因此,现有方案对同种类别所有目标的统一识别后,还需使用者进行人为查找其感兴趣目标,缺乏实用性。
在现有技术中,缺乏一种开放性的分割类别灵活且分割目标精准的跨模态遥感图像目标分割方法。
实现思路