[发明专利]一种基于姿态估计的行人摔倒动作识别方法及设备

权利要求书

1.一种基于姿态估计的行人摔倒动作识别方法，其特征在于，所述方法包括：

获取原始视频流中多帧图像，对每一帧所述图像进行行人检测和跟踪，姿态估计得到人体跟踪编号和关键点信息，并采用多尺度的邻接矩阵将每个关键点前后多帧图像的所述关键点信息进行聚合，得到姿态图数据；

将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征；

结合摔倒动作变化特性，对所述姿态时空联合特征进行动作识别得到动作识别分类结果。

2.根据权利要求1所述的方法，其特征在于，所述图卷积神经网络中包括第一时空合并图卷积模块、第二时空合并图卷积模块和第三时空合并图卷积模块；

每个所述时空合并图卷积模块内包括多窗口多尺度3D图卷积层和序列化组件层，所述序列化组件包括多尺度图卷积和连续两个多尺度时间卷积。

3.根据权利要求2所述的方法，其特征在于，所述将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络中的多个时空合并图卷积模块之间引入残差连接，并依次经过多个所述时空合并图卷积模块进行特征提取得到姿态时空联合特征，包括：

将所述姿态图数据输入所述图卷积神经网络中，对所述姿态图数据进行归一化处理调整所述姿态图数据的数组形状；

将调整后的姿态图数据输入所述第一时空合并图卷积模块进行特征提取，得到第一姿态时空特征；

将所述第一姿态时空特征输入所述第二时空合并图卷积模块进行特征提取，得到第二姿态时空特征；

所述第一姿态时空特征残差连接所述第二姿态时空特征后，输入所述第三时空合并图卷积模块进行特征提取，得到所述姿态时空联合特征。

4.根据权利要求3所述的方法，其特征在于，所述将调整后的姿态图数据输入所述第一时空合并图卷积模块进行特征提取，得到第一姿态时空特征，包括：

分别将所述调整后的姿态图数据输入所述第一时空合并图卷积模块中的所述多窗口多尺度3D图卷积层和所述序列化组件层中；

所述调整后的姿态图数据依次通过所述序列化组件层中的所述多尺度图卷积和连续两个所述多尺度时间卷积进行特征提取；

所述调整后的姿态图数据通过所述多窗口多尺度3D图卷积层进行特征提取；

将通过所述多窗口多尺度3D图卷积层和所述序列化组件层后输出的特征相加后，输入激活函数，再进行一次多尺度时间卷积特征提取，得到第一姿态时空特征；

在所述第二时空合并图卷积模块和第三时空合并图卷积模块中，以所述第一时空合并图卷积模块进行特征提取同样的方法，分别得到所述第二姿态时空特征和所述姿态时空联合特征。

5.根据权利要求4所述的方法，其特征在于，所述姿态图数据结构包括人体关键点集和骨骼边集，所述姿态图数据的k-邻接矩阵表示如下：

其中，k代表关键点的不同邻居阶数，(i，j)是第i和j号关键点，d(v_i,v_j)代表关键点i和j之间的距离。

6.根据权利要求1-5任一项所述的方法，其特征在于，步骤A中获取原始视频流中多帧图像，对每一帧图像进行行人检测和跟踪，姿态估计得到人体跟踪编号和关键点信息，包括：

获取所述原始视频流中多帧所述图像，确定待跟踪目标；

基于DeepSort的行人跟踪算法通过计算前后两帧所述图像间所述待跟踪目标的行人边界框特征信息的相似度进行匹配，并为每一个所述待跟踪目标分配一个ID，得到跟踪结果；

基于所述跟踪结果，利用区域多人姿态估计算法对每个所述待跟踪目标提取关键点坐标，输出关键点信息和人体跟踪编号。

7.根据权利要求6所述的方法，其特征在于，所述结合摔倒动作变化特性，对所述姿态时空联合特征进行动作识别得到动作识别分类结果，包括：

对所述姿态时空联合特征做全局平均池化处理，将得到的池化结果输入全连接线性层；

结合摔倒动作变化特性，通过分类器输出所述姿态时空联合特征对应的得分最高的类别，得到分类结果。