本技术公开了一种联合检测和特征嵌入的多目标跟踪方法,所述方法包括如下步骤:通过特征分离模块获取输入检测分支和身份分支的不同特征;输入身份分支的特征通过多尺度特征融合模块得到更精细的特征表达,输入检测分支的特征通过目标检测器获得t帧的检测结果;数据关联模块首先将高分检测框和现存所有轨迹进行第一次匹配,之后将第一阶段未匹配的轨迹与低分检测框间执行第二次匹配,使低分检测框中的目标正确匹配到之前的轨迹并去除背景干扰;若两次匹配均未成功,则对其进行持续假设跟踪,保留目标轨迹信息及特征x帧,最后执行统一的轨迹管理。所述方法能够在相机发生抖动和局部遮挡等情况下,依然保持跟踪的精度和速度。
背景技术
智能化视频分析技术能够处理监控摄像机获取的视频数据,对面向不同应用需求的实体目标及其行为进行结构化分析整理,形成便于查询的结构化数据。在公共安全领域中,人体目标及其行为是重点关注的内容,而获取人体目标位置、尺度等状态信息是行为分析的基础。因此,多目标跟踪任务应运而生,旨在从图像序列中找出多个运动的物体,并为不同帧中的运动物体赋予特定的编号,从而给出不同物体的运动轨迹。多目标跟踪作为计算机视觉的中层任务,为姿态估计,动作识别,与行为分析等高级任务提供了基础,具有重要的理论研究意义和实际应用价值。
多目标跟踪一般分为SDE(Separate Detecting and Embedding)和JDE(JointDetecting and Embedding)两种框架。SDE将Reid特征提取和目标检测分为两个独立网络来实现,这样做的优点是每部分独立优化能够取得比较高的精度,缺点就是计算量会增加;JDE将目标检测与Reid特征提取放在一个网络,这样能有效减少算法的计算量。
同时由于数据集信息过于复杂庞大、行人动作轨迹不同、行人密度过大导致数据标注困难、训练难度大等问题,现实场景中主要面临因检测误差所造成的轨迹中断和ID切换、因局部遮挡致使目标人物频繁消失重现导致的预测错误、所提取的特征不稳定等问题。为了解决目前面临的棘手问题,亟需开发一种联合检测和特征嵌入的多目标跟踪方法。
实现思路