多模态图像-文本零样本语义分割技术与系统
2025-02-15 12:14
No.1340295155244343296
技术概要
PDF全文
本技术揭示了一种多模态图像-文本零样本语义分割技术及其系统,该技术属于图像语义分割领域,特别适用于处理热感和红外图像,旨在增强RGB-T语义分割在多样化场景中的零样本性能。
背景技术
语义分割在实现无人系统场景理解方面发挥着关键作用,尤其是在自动驾驶、机器人操作及遥感等领域有着广泛的应用。尽管先前的研究已在基于RGB图像的标准数据集上实现了显著的分割效果,但在恶劣天气或低光照条件下导致的低能见度环境中,这些方法常遇到难以准确分割目标物与背景的问题。为了克服这些限制,研究人员开始利用热感/红外图像来提升视觉感知任务的性能。尽管取得了一定的进展,但传统的RGB-T语义分割方法大多局限于预定义的类别进行训练,这限制了它们对于更多场景进行泛化的潜力。 近年来,视觉语言模型(VLMs,Visual Language Models)和开放词汇学习的快速发展,为拓展语义分割任务在开放环境中的能力开辟了道路。相比于传统语义分割方法,这种通过结合VLMs和开放词汇学习的方法可以支持任意类别的文本输入,并实现实例级语义分割,因此又被称为开放词汇语义分割。 现有开放词汇语义分割方法大多采取两阶段式方法来实现,其中主要包括两种思路。 第一类方法首先利用视觉基础模型生成与类别无关的掩码提议,然后应用预训练的图文匹配模型对这些掩码提议进行分类。这种方法的一个主要挑战是其性能高度依赖于初始掩码的准确生成以及随后的分类步骤。此外,由于图文匹配模型通常是在大规模的RGB图像数据集上训练的,因此当待检测图像(目标域)与训练数据集(源域)之间存在较大差异时,可能会导致分类错误。 为了减少潜在的分类错误,第二类方法则首先使用开放词汇目标检测器对要检测的类别生成检测框,然后使用视觉基础模型对目标进行分割。不过,这种方法在目标检测阶段仍然可能遭遇误检或漏检的问题,因为开放词汇目标检测器同样是基于一个固定的文本描述库进行训练的。当输入的文本描述与训练文本库中的类别存在语义上的模糊重叠时,可能会产生错误的置信度评分,进而导致误检或漏检的情况发生。 此外,现有的开放词汇语义分割模型大多仅限于RGB单一模态信息的使用。由于不同模态数据间存在异质性,当这些模型需要处理热感或红外图像时,会遇到类别理解上的困难。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
岳裕丰  于萌  杨罗婕  杨毅
技术所属: 北京理工大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利