一种基于小波变换的跨模态行人重识别方法及系统
2025-02-23 12:25
No.1343196995208355840
技术概要
PDF全文
本技术公开了一种基于小波变换的跨模态行人重识别方法及系统,涉及行人重识别技术领域,包括:构建两流ResNet‑50主干网络;通过ICB模块融合两流ResNet‑50主干网络浅层的特征,得到融合特征;通过WEB分支模块对融合特征进行特征提取得到高低频部分的模态共享特征;通过双分支中心引导损失优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征得到最终识别结果。本发明通过信息补偿模块,在不同阶段结合小波变换聚合网络浅层的特征,补偿网络特征提取过程中丢失有价值的信息,提高了最终特征向量的质量;通过小波增强模块,并用双分支中心引导损失来引导网络挖掘小波子图中的模态不变信息,提高模型性能。
背景技术
行人重识别(ReID)旨在利用给定的跨多个不相交的摄像机图像检索特定的人,在智能视频监控领域中发挥着越来越重要的作用。现有的ReID方法主要集中在RGB图像之间的信息检索。然而,随着人们公共安全意识的提高和红外摄像头的普及,越来越多的监控场合是在夜间或低光照条件下进行的,为可见模态设计的模型在夜间或低光环境下常常面临精度低的问题。对此,最近的研究注意到了一项重要但具有挑战性的ReID子任务,即可见光-红外ReID(VI-ReID),其目的是跨模态(可见光到红外,红外到可见光)地匹配同一个人。 VI-ReID的主要挑战是如何提取与模态无关的人的身份特征信息,以抵抗可见光和红外模态之间的巨大模态差异。基于目前的工作而言,通常用两种主流的方法来缩小模态间的差异。一种是图像级方法,将两种不同模态图像转换为相同的模态以保持风格一致性。然而,在图像转换过程中引入额外的噪声会影响判别特征的提取。另一种是特征级方法,即利用神经网络从不同的模态中提取身份特征并将其映射到共享空间中进行对齐。这些方法可以有效地处理模态之间的差异,但它们仍然无法避免在特征提取过程中丢失有价值的信息,这些信息同样包含着与模态无关的一些特征可以被挖掘和利用。 近年来,小波变换特征学习在图像分类、医学图像分割和图片去噪等不同任务中显示出强大的优势。小波变换可以将特征图分解为高频部分和低频部分,低频部分拥有更少的噪声和细节,而高频部分拥有更清晰物体边界信息,如轮廓,对特征图进行小波变换后有利于模型从不同角度挖掘模态间共享特征。同时,对特征图进行小波变换(DWT)与逆小波变换(IDWT)是无损的,不会有额外信息丢失。传统的基于特征提取的方法往往不能充分挖掘模态中的不变信息,并且容易受到噪声特征的干扰。小波变换是一种有效的时频分析方法。考虑到小波变换的可逆性和保留所有信息的能力,小波变换被用于在各种视觉任务来提升性能。虽然小波变换已经被用于图像分类、医学图像分割和图片去噪等领域,到目前为止在VI-Reid领域还未见到相关的研究。 因此,如何提出一种基于小波变换的跨模态行人重识别方法及系统,将小波变换与注意力机制结合,并利用小波变换对特征图进行分解,在分解后的低频和高频图像中挖掘模态不变特征,减小模态差异,实现VI-ReID是本领域技术人员亟需解决的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
铁治欣  范浩标  陈燕兵  陶灵兵
技术所属: 浙江理工大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利