[发明专利]一种基于姿态估计的行人摔倒动作识别方法及设备

说明书

本申请提供一种基于姿态估计的行人摔倒动作识别方法及设备，本申请采用多尺度的邻接矩阵实现信息的聚合，并在相同结构的上下时空联合模块间引入残差连接，分别提取姿态在双流(关键点流、骨骼边流)上的时空联合特征，最终合并双流结果做出摔倒动作判断，减少了背景对识别效果的影响从而提高动作识别准确率，并且减少了计算量。

技术领域

本申请涉及计算机领域，尤其涉及一种基于姿态估计的行人摔倒动作识别方法及设备。

背景技术

现有技术中，目前行为识别领域常用的数据模态主要分为原始RGB视频和一系列的人体姿态关键点。原始RGB视频中不仅包含人体的行为运动信息，而且也拥有许多对识别精度产生影响的背景信息，例如光照、杂乱的周边环境。然而当今智能硬件水平飞速提升，获取人体关键点的姿态估计算法在实时性方面也越来越优秀，可以借助于高鲁棒性的行人检测网络提取出视频中每个人的姿态信息，最后把姿态输出结果封装成所需数据形式。

摔倒动作识别方法中需要把从视频中提取的人体姿态坐标组成图数据，利用图卷积网络进行特征学习。早期有学者提出基于骨架的时空图卷积网络ST-GCN做特征提取，在一帧图像上(空间维度)对人体的关关键点自然连接图做图卷积，在时间维度上做时间卷积或用LSTM网络进行特征融合，它很好地利用了人体结构的自然连接和动作事件本身各相关关节的联动关系，考虑了空间和时间上的相邻关节，但它只考虑了局部关节连接性，未考虑近邻关键点和远方关键点的同等影响力，没有把全局中此关键点的远方关键点和前后多帧中的相关关键点考虑进来，时间和空间交错进行的方式对于捕获复杂的时空联合关系鲁棒性不够。2020年有学者提出了一种G3D时空图卷积算子，把时空信息联系在一起做三维卷积，并考虑了远距离邻居的重要性，能稳定准确提取到动作本身在立体空间的高级语义特性，对动作分类精度有很大提升。但是，对动作识别准确率仍受复杂背景和动作特征提取不充分的影响较大。

因此，解决RGB视频中复杂背景和动作特征提取不充分对摔倒动作识别准确率产生的影响仍是本领域需要研究的方向。

发明内容

本申请的一个目的是提供一种基于姿态估计的行人摔倒动作识别方法及设备，以解决现有技术中如何在摔倒识别过程中减少背景对识别效果的影响提高准确率，同时减少计算量的问题。

根据本申请的一个方面，提供了一种基于姿态估计的行人摔倒动作识别方法，包括：

获取原始视频流中多帧图像，对每一帧所述图像进行行人检测和跟踪，姿态估计得到人体跟踪编号和关键点信息，并采用多尺度的邻接矩阵将每个关键点前后多帧图像的所述关键点信息进行聚合，得到姿态图数据；

将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征；

结合摔倒动作变化特性，对所述姿态时空联合特征进行动作识别得到动作识别分类结果。

进一步地，上述基于姿态估计的行人摔倒动作识别方法中，所述图卷积神经网络中包括第一时空合并图卷积模块、第二时空合并图卷积模块和第三时空合并图卷积模块；

每个所述时空合并图卷积模块内包括多窗口多尺度的3D图卷积层和序列化组件层，所述序列化组件包括多尺度图卷积和连续两个多尺度时间卷积。

进一步地，上述基于姿态估计的行人摔倒动作识别方法中，将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征，包括：

将所述姿态图数据输入所述图卷积神经网络中，对所述姿态图数据进行归一化处理调整所述姿态图数据的数组形状；

将调整后的姿态图数据输入所述第一时空合并图卷积模块进行特征提取，得到第一姿态时空特征；