本技术公开了一种基于异步和同步关系图的群体行为识别方法,首先构建异步关系图模型,利用个体间的异步特征,捕捉群体行为中的时延关系,构建一个异步时延关系集合。接着,将时延参与者的特征移位以与实时参与者的特征进行同步,并将运动关系和位置关系整合到关系图中。同时,构建同步关系图模型,通过引入同步空间交互关系特征和局部残差关系特征,进一步优化对个体间互动和运动差异的捕捉能力,并结合局部限制条件,以抑制非关键行为对群体行为识别的干扰。最后,构建图聚合模块,引入具有多头注意力机制的消息传递,实现异步关系图和同步关系图的耦合,使得模型在包含异步行为和非关键行为个体的情况下也能保持较高的群体行为识别准确率。
背景技术
群体行为识别(GAR)在多个领域具有广泛的应用潜力,包括智能家居、社会行为理解以及体育活动分析等。相较于单一运动的识别(如跑步或跳跃),群体行为识别面临更为复杂的挑战,例如群体交谈或排队等识别任务,其难点不仅在于准确识别个体行为,更在于探索不同个体之间的互动关系。
目前,已经开始探索基于不同类型传感器的群体行为识别,但大部分研究仍然依赖于摄像头和计算机视觉技术。然而,摄像头的使用由于隐私原因以及地域限制存在着明显的局限性。随着传感器制造水平的提高,惯性传感器因其小巧便捷的结构,能够持续采集数据,并避免受到障碍物的影响,对隐私侵犯较小,相对于视频数据采集具备明显优势。现代智能手机和各类可穿戴设备均内置了惯性传感器元件,使得长期佩戴并持续监测行为特征成为可能。因而,基于惯性传感器数据的群体行为识别技术逐步得到发展,并将具有更广阔的应用前景。
然而,当前传感器群体行为识别研究主要聚焦于同步行为的群体行为识别,现有方法主要集中于处理具有同步时间特征的行为关系,而忽略了处理具有异步时间特征的行为关系的问题。现实中群体行为并非总是同步进行的,异步时间特征(如时间上的延迟)可能会影响准确学习个体之间的互动关系,造成当前方法在遇到异步行为情况时准确率显著下降的问题
具有异步行为的传感器数据群体行为识别面临以下挑战:首先是如何捕获群体行为的基本同步关系,并有效地利用个体间的异步关系,捕捉群体行为中的交互关系及异步时间延迟;其次是如何将个体特征与相关个体的异步特征进行融合,以增强个体特征的表达能力,抑制异步行为的干扰;最终,需探讨如何将异步关系与同步关系进行有效耦合,以增强模型的表达能力,从而实现对具有异步行为的群体行为的更精确识别和分析。
实现思路