本技术属于行人检测技术领域,公开了一种基于结构重参数化的果园行人检测方法、系统、设备及介质。本发明基于改进的DINO模型搭建基于结构重参数化的目标检测网络模型。模型的骨干网络中使用了结构重参数化的方法,通过对模型结构进行重参数化操作,在模型部署阶段几乎不改变检测精度的前提下,极大缩小了网络的参数量,从而达到轻量化的目的。此外,模型的特征融合模块中引入渐进式的双向特征融合网络,融合高阶特征,以增强模型的表征能力,在模块内部对不同特征的特征图融合添加了不同的权重,以区分不同特征图的重要性。本发明还改进了模型损失函数度量,使用最小点距离损失函数进行边界框回归预测。
背景技术
随着农业现代化和自动化的推进,智能农机在农业环境下的应用日益广泛。然而,在非结构化果园中,由于其环境的特殊性,农用机械与行人之间的安全问题逐渐凸显,因此为了保障果园中农机作业的安全性,提出一种轻量化、高精度的果园行人检测方法具有重要意义。早期的果园行人检测方法,主要包括一维模糊熵分割以及密度峰簇分割算法等。
但是,由于果园中的复杂环境,导致行人检测需要考虑许多因素,例如遮挡情况、光照强度等,由于行人动作姿态多变、行动轨迹不可预测,可能存在与果树、杂草以及其他背景重叠、颜色相近等情况,不易被检测。因此,需要对算法进行细致调整和优化,以适应各种情况。另外,需要选择合适的人工智能算法模型来进行果园中的行人检测,并对模型进行优化,以保证模型的轻量化属性,从而提高模型的效率和检测精度,以便模型能够移植到合适的硬件中,运用在实际果园中进行行人检测。同时,需要考虑不同场景的适用性和模型的泛化能力。除去外部因素,还需要考虑算法本身的复杂度和鲁棒性,在实际应用在果园场景时,算法需要具有一定的复杂度和鲁棒性,使得能在各种情况下都能准确的工作。
对于在果园中检测行人的任务,本质上是自动驾驶中的子任务,涉及到人的安全方面,因此对算法的轻量化和鲁棒性要求更高,因为智能农机需要在复杂的果园场景下完成对行人的检测,而且需要考虑到摄像头分辨率是否能够满足模型需要,以及在果园中的工作人员往往会以不同的动作姿势完成修剪、套袋、授粉等工作,而现有的算法很难满足上述要求。
专利文献1公开了一种基于改进YOLOv3的果园环境下行人检测方法。该专利文献中使用改进的K-means聚类方法提取锚框,并通过YOLO-Z模型进行小目标检测,结合卡尔曼滤波方法提升对遮挡物体的漏检率。然而,由于上述模型是以YOLOv3为基准进行的改进,受限于卷积神经网络的弊端,使得改进后的模型虽然具有参数量小、易部署等优点,但基于卷积神经网络的局部卷积操作,使得模型对长距离的像素关系感知较弱,无法很好的处理全局问题,检测精度明显不如使用基于Transformer块的其他模型,例如DINO模型、DETR模型等。
参考文献
专利文献1中国发明专利申请,公开号:CN111626128A,公开日:2020.09.04。
实现思路