本申请提供了一种基于多项扩散模型的摔倒动作检测方法及系统,属于动作检测技术领域,包括:采集样本摔倒动作数据并进行动作标注,得到样本摔倒动作数据集和动作标注数据;构建多项扩散模型,多项扩散模型包括前向扩散和后向去噪,前向扩散包括:使用等概率多项分布噪声对动作标注数据进行加噪,得到前向扩散过程中的中间分布;后向去噪包括:构建视听特征提取网络,将样本摔倒动作数据集代入视听特征提取网络进行音频数据和图像数据的特征融合,得到视听特征,构建去噪模型,将中间分布、视听特征以及前向扩散的扩散步骤编码输入去噪模型,得到预测结果;进行解码,得到最终预测结果。提升了摔倒动作检测的准确性,降低跌倒动作检测的误报率。
背景技术
当前的跌倒检测方法主要分为两大类:可穿戴式和非可穿戴式。其中可穿戴式设备小型化、便携性高,但是比较容易误地识别某些活动为跌倒,导致不必要的担忧和紧急响应;非可穿戴式的有基于视觉图像、基于毫米波雷达和基于wifi射频信号的;常见基于视觉图像的检测方法主要是使用目标检测追踪、人体姿态关键点检测、动作识别等方法,采用多个模型串联的检测流程,检测结果容易受到身体遮挡、人员重合等因素影响;基于毫米波雷达和wifi射频信号的方法,数据源单一,缺少空间语义信息,在人员活动频繁、干扰信号较多等情况下也容易出现误报。
现有公开了一种基于扩散模型的2D人体姿态估计方法(专利申请号为:CN202310807926.0),其采集人体姿态图像及标注信息,并利用前向扩散公式在标注的关节点坐标中加入噪声破坏其中的坐标信息,生成中间噪声样本;然后构建2D人体姿态估计扩散模型;随后模型依据输入图像与生成的噪声样本预测出目标关节点的热图,再将预测结果与标注间的均方误差作为损失函数优化模型参数;最后将模型预测关节点热图送入反向扩散公式,完成高斯噪声的迭代去噪,获得去噪后的精确预测。公开了基于扩散概率模型的稀疏人体动作捕捉系统及模型训练方法(专利申请号为:CN202410340330.9),其通过考虑场景与人体动作之间的关联性,引入场景信息,提升了稀疏人体动作捕捉的质量。公开了基于扩散模型的语音驱动姿势动作生成方法及装置(专利申请号为:CN202311007818.1),其包括:获取具有语音标注的人体姿势动作数据集,对人体姿势动作数据集进行预处理,得到具有语音信息标注的姿势动作序列片段的训练数据,对训练数据中的姿势动作序列进行加噪,得到加噪后的姿势动作序列样本,以用于训练扩散模型;构建并训练用于语音驱动姿势动作生成的扩散模型,所述扩散模型将姿势动作生成任务视为对带噪姿势动作序列的去噪过程;使用训练好的扩散模型,根据给定的任意长度的语音输入,从随机采样的高斯噪声开始进行迭代去噪,生成姿势动作序列。
上述公开方案在扩散过程中采用的噪声均是高斯噪声,高斯噪声是扩散模型中所常规采用的,只适用于常规的扩散模型,当扩散模型的建模方式根据数据类型调整后,高斯噪声不能实现最优的加噪效果或去噪效果;且上述方案是对动作或姿态的生成,不涉及动作的识别,不能用于检测是否存在跌倒动作,不能够及时准确的发现跌倒状况,不能减少跌倒检测的误报率。
实现思路