[发明专利]一种人体跌倒的检测方法、装置、存储介质及终端设备

权利要求书

1.一种人体跌倒的检测方法，其特征在于，包括：

接收视频数据；其中，所述视频数据由多帧包含待测人体的图像组成；

对所述视频数据中的所述待测人体进行骨架关节点提取，得到关节数据；其中，所述关节数据包括每帧所述图像中的所述待测人体的关节点三维坐标数据；

将所述关节数据输入至预先训练好的第一跌倒识别模型中，得到第一跌倒概率矩阵；其中，所述第一跌倒识别模型为用于进行跌倒识别的时空图卷积网络；所述第一跌倒概率矩阵包括每帧所述图像对应的属于跌倒动作的第一概率；

将所述视频数据输入至预先训练好的第二跌倒识别模型中，得到第二跌倒概率矩阵；其中，所述第二跌倒识别模型为用于进行跌倒识别的图注意力网络；所述第二跌倒概率矩阵包括每帧所述图像对应的属于跌倒动作的第二概率；

对所第一跌倒概率矩阵和第二跌倒概率矩阵进行均值处理，得到所述待测人体的跌倒识别结果。

2.如权利要求1所述人体跌倒的检测方法，其特征在于，所述对所述视频数据中的所述待测人体进行骨架关节点提取，得到关节数据，具体为：

将所述视频数据输入至预先训练好的卷积神经网络中检测所述待测人体在每帧所述图像中的位置，得到每帧所述图像中包含所述待测人体的边界框；

将每帧所述图像的所述边界框中的人体图像输入至单人姿态预测网络中，提取每帧所述图像中的所述待测人体的骨架关节点，得到每帧所述图像的关节点二维坐标数据；

将每帧所述图像的关节点二维坐标数据输入至预先训练好的由卷积神经网络和时间卷积网络构成的网络模型中，得到每帧所述图像的关节点三维坐标数据；

对每帧所述图像的所述关节点三维坐标数据进行拟合，得到关节数据。

3.如权利要求2所述的人体跌倒的检测方法，其特征在于，所述将每帧所述图像的所述边界框中的人体图像输入至单人姿态预测网络中，提取每帧所述图像中的所述待测人体的骨架关节点，得到每帧所述图像的关节点二维坐标数据，具体为：

将每帧所述图像的所述边界框中的人体图像输入空间变换网络中，得到每帧所述图像的预处理后的人体图像；

将每帧所述图像的所述预处理后的人体图像输入至单人姿态预测网络中，提取每帧所述图像中的所述待测人体的骨架关节点；

对每帧所述图像中每个人体关节点位置的所有骨架关节点进行置信度比较，得到每帧所述图像中每个人体关节点位置的置信度最大的骨架关节点；

拟合每帧所述图像中所有置信度最大的骨架关节点，得到每帧所述图像的关节点二维坐标数据。

4.如权利要求1所述的人体跌倒的检测方法，其特征在于，所述第一跌倒识别模型包括n层时空图卷积层和一个第一分类器，n为整数且n大于1；

其中，当i等于1时，第i层所述时空图卷积层的输入数据为所述关节数据；当i大于1时，第i层所述时空图卷积层的输入数据为第i-1层所述时空图卷积层的输出数据，所述第一分类器的输入数据为第n层所述时空图卷积层的输出数据；

每一层所述时空图卷积层包括用于处理所述待测人体的骨架关节点的空间结构信息的图卷积网络，以及用于处理时间维度特征的的时间卷积网络；

所述第一分类器用于对第n层所述时空图卷积层的输出数据进行动作分类，得到第一跌倒概率矩阵。

5.如权利要求4所述的人体跌倒的检测方法，其特征在于，通过所述图卷积网络处理后第t帧图像的第i个骨架关节点的特征输出具体为：

其中，为第t帧图像中的第j个骨架关节点的特征，为第t帧图像的第i个骨架关节点的添加闭环的邻接矩阵，为第t帧图像的第j个骨架关节点添加闭环的邻接矩阵，为的度矩阵，为的度矩阵，ω为所述图卷积网络的参数。