一种基于大模型知识的跨模态行人搜索关键语义完备对齐方法
2025-02-25 12:19
No.1343920282288791552
技术概要
PDF全文
本申请属于计算机视觉和自然语言处理技术领域。本申请提供一种基于大模型知识的跨模态行人搜索关键语义完备对齐方法。本公开实施例利用预训练视觉语言大模型所含外部通用知识提取更具判别力的视觉特征和文本特征;设计噪声过滤模块,通过参考模态内的全局和局部语义间的关系,滤除图像和文本中与行人无关的噪声,仅保留与行人相关的细粒度关键语义信息;提出关键语义显著性与完整性联合优化的完备学习模块,同时考虑显著性和完整性两方面的协同关系,实现跨模态行人关键语义信息的完备对齐。能够过滤行人无关的噪声信息,增强模型对行人相关的关键信息的关注度,挖掘跨模态细粒度信息之间的对应关系,进而提升跨模态行人检索的准确度。
背景技术
自然语言跨模态行人搜索旨在通过文本描述从图像库中找到目标人物所对应的图像,其在安防监控、智能视频分析等领域具有广泛应用。作为一种细粒度的跨模态检索任务,相关研究工作对消解图像和文本之间的模态异质性展开探索。但是,先前方法忽略了图像和文本中存在的固有噪声(例如:图像中环境背景和文本中行人无关词语)会不可避免地对跨模态对齐产生干扰,导致模型对行人细节信息的判别能力较差,难以区分相似的行人图像。 因此,有必要改善上述相关技术方案中存在的一个或者多个问题。 需要注意的是,本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
牛凯  刘严颐  张艳宁
技术所属: 西北工业大学  西北工业大学深圳研究院
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利