本技术属于智能交通技术领域,公开了一种基于多模态融合的驾驶状态识别方法及系统。本发明通过非侵入性的生理手环采集驾驶员的手腕运动信息,其中手腕运动信息与传统的生理信号和驾驶绩效数据等结合,提升了驾驶状态识别的准确性和鲁棒性。本发明提出了一种特征动态加权模型,该模型利用LSTM模块捕捉时间序列中的长期依赖关系,利用交叉注意力机制模块对不同模态间的特征进行加权,使得各个特征的动态重要性能够根据不同驾驶状态发生调整,利用Transformer模块实现不同模态数据的深度交互和特征增强。本发明利用XGBoost模型,并基于加权后的多模态特征进行驾驶状态分类,能够准确区分不同的驾驶状态。
背景技术
疲劳驾驶和分心驾驶是导致重大事故最常见的两种原因。在多种交通方式并存的情况下,对驾驶人的驾驶状态进行准确检测,可以极大地提高城市道路交通的安全性和道路运行效率。目前主流研究依赖视觉特征、脑电、眼电、肌电等来识别不良驾驶状态,但这些数据采集设备价格高昂且与身体接触影响正常操作,以及易受光照和遮挡物等影响,几乎不适用。
疲劳驾驶行为和分心驾驶行为是两种常见的不良驾驶行为。疲劳驾驶通常由于驾驶员休息不充分、长时间驾驶或夜间驾驶等原因产生的,其表现包括注意力不集中、反应迟缓、频繁打哈欠和眨眼等现象。分心驾驶是由于驾驶员习惯性地接打电话、抽烟等行为导致的,这些行为同样导致注意力分散和反应迟缓。上述现象都极易导致交通事故的发生。因此,快速准确地检测驾驶员的不良驾驶行为,对于保障驾驶员、乘客及行人的安全至关重要。
尽管现有技术中曾提出一些驾驶状态识别方法,然而这些方法往往由于特征关联性差、采集设备具有侵入性、数据源单一、特征融合精度低等原因,导致最终识别效果不佳。
在特征关联性方面,现有技术对不同特征的贡献没有进行有效评估,导致不同特征的处理权重不合理,将所有特征都作为输入,输入到识别模型中,影响了模型的准确度。
在采集设备侵入性方面,传统的生理检测设备成本高昂且舒适性低,可能会干扰驾驶员的驾驶行为,进而影响其状态识别。此外,使用脑电设备或生理信号传感器的组合进行不良驾驶状态检测时,需要在驾驶员身上贴上许多电极或传感器,这可能是侵入性的。实际驾驶中的许多动作都会在测量信号中产生伪迹,影响不良驾驶状态检测的准确性。
在数据源来源方面,现有的不良驾驶状态识别系统主要依靠单一信号来源作为输入,从而导致了较高的误报率和漏报率。尽管许多研究者曾提出利用传感器来获取多模态信息,从而综合检测驾驶员的不良驾驶状态。然而,由于许多数据采集困难、算法识别复杂、检测结果易受外部因素的影响等原因,给不良驾驶状态识别带来了极大的挑战。
在特征融合精度方面,现有的不良驾驶状态识别方法往往未能有效融合来自不同来源的特征,导致识别精度不高。此外,许多方法未充分评估各特征的重要性,导致特征处理权重分配不合理,直接将所有特征均匀输入到模型中,从而影响了模型的准确性。更重要的是,现有技术在实时性和计算效率上存在不足,难以满足实际应用需求。
实现思路