本技术公开了一种基于小波变换的跨模态行人重识别方法及系统,涉及行人重识别技术领域,包括:构建两流ResNet‑50主干网络;通过ICB模块融合两流ResNet‑50主干网络浅层的特征,得到融合特征;通过WEB分支模块对融合特征进行特征提取得到高低频部分的模态共享特征;通过双分支中心引导损失优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征得到最终识别结果。本发明通过信息补偿模块,在不同阶段结合小波变换聚合网络浅层的特征,补偿网络特征提取过程中丢失有价值的信息,提高了最终特征向量的质量;通过小波增强模块,并用双分支中心引导损失来引导网络挖掘小波子图中的模态不变信息,提高模型性能。
背景技术
行人重识别(ReID)旨在利用给定的跨多个不相交的摄像机图像检索特定的人,在智能视频监控领域中发挥着越来越重要的作用。现有的ReID方法主要集中在RGB图像之间的信息检索。然而,随着人们公共安全意识的提高和红外摄像头的普及,越来越多的监控场合是在夜间或低光照条件下进行的,为可见模态设计的模型在夜间或低光环境下常常面临精度低的问题。对此,最近的研究注意到了一项重要但具有挑战性的ReID子任务,即可见光-红外ReID(VI-ReID),其目的是跨模态(可见光到红外,红外到可见光)地匹配同一个人。
VI-ReID的主要挑战是如何提取与模态无关的人的身份特征信息,以抵抗可见光和红外模态之间的巨大模态差异。基于目前的工作而言,通常用两种主流的方法来缩小模态间的差异。一种是图像级方法,将两种不同模态图像转换为相同的模态以保持风格一致性。然而,在图像转换过程中引入额外的噪声会影响判别特征的提取。另一种是特征级方法,即利用神经网络从不同的模态中提取身份特征并将其映射到共享空间中进行对齐。这些方法可以有效地处理模态之间的差异,但它们仍然无法避免在特征提取过程中丢失有价值的信息,这些信息同样包含着与模态无关的一些特征可以被挖掘和利用。
近年来,小波变换特征学习在图像分类、医学图像分割和图片去噪等不同任务中显示出强大的优势。小波变换可以将特征图分解为高频部分和低频部分,低频部分拥有更少的噪声和细节,而高频部分拥有更清晰物体边界信息,如轮廓,对特征图进行小波变换后有利于模型从不同角度挖掘模态间共享特征。同时,对特征图进行小波变换(DWT)与逆小波变换(IDWT)是无损的,不会有额外信息丢失。传统的基于特征提取的方法往往不能充分挖掘模态中的不变信息,并且容易受到噪声特征的干扰。小波变换是一种有效的时频分析方法。考虑到小波变换的可逆性和保留所有信息的能力,小波变换被用于在各种视觉任务来提升性能。虽然小波变换已经被用于图像分类、医学图像分割和图片去噪等领域,到目前为止在VI-Reid领域还未见到相关的研究。
因此,如何提出一种基于小波变换的跨模态行人重识别方法及系统,将小波变换与注意力机制结合,并利用小波变换对特征图进行分解,在分解后的低频和高频图像中挖掘模态不变特征,减小模态差异,实现VI-ReID是本领域技术人员亟需解决的问题。
实现思路