[发明专利]基于环境语义理解的人体行为识别方法、装置及存储介质

权利要求书

1.一种基于环境语义理解的人体行为识别方法，其特征在于，所述方法包括：

检测视频流中各帧图像包含的人体和物品；

对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态；

将所述视频流中连续的多帧图像中各人体的姿态输入到预先训练完成的第一卷积神经网络中，获取第一动作识别结果，所述第一卷积神经网络用于动作识别，所述第一动作识别结果包括各人体不同动作类别的发生概率；

获取各人体周围的物品，将所述视频流中连续的多帧图像中各人体的姿态以及各人体周围的物品输入到预先训练完成的第二卷积神经网络中，获取第二动作识别结果，所述人体周围的物品为每帧图像中与所述人体的距离小于或等于预设阈值的物品，所述第二卷积神经网络用于摔倒动作识别，所述第二动作识别结果包括各人体摔倒的发生概率；

根据所述第一动作识别结果和所述第二动作识别结果输出各人体的行为识别结果；其中，所述检测视频流中各帧图像包含的人体和物品，包括：

按照预设的划分方式，将所述视频流中各帧图像划分为多个网格；

在每个网格中，通过预先设置的不同类型的检测框进行目标预测，针对每个检测框，获取所述检测框预测的目标的坐标参数、检测框的宽度和高度以及检测框的置信度，将置信度最高的检测框作为预测结果，所述预测结果包括所述目标、所述检测框、所述目标的坐标参数以及所述目标的类别，所述检测框为框选出所述目标的外接区域，所述目标的类别包括人体和物品；

根据所述预测结果确定所述视频流中各帧图像包含的人体和物品；

所述将所述视频流中连续的多帧图像中各人体的姿态输入到预先训练完成的第一卷积神经网络中，获取所述人体的第一动作识别结果，包括：

利用注意力网络从所述视频流的每帧图像中提取感兴趣区域；

对所述视频流的每帧图像中各人体的不同关节点进行图卷积操作；

对所述视频流中连续的多帧图像中各人体的相同关节点进行时间卷积操作；

利用全连接层根据图卷积操作输出的特征和时间卷积操作输出的特征进行动作分类，获取各人体不同动作类别的出现概率。

2.根据权利要求1所述的人体行为识别方法，其特征在于，所述人体的姿态包括关节点的位置和关节点之间的连线；所述对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态，包括：

对每帧图像中包含的人体进行高维特征提取；

根据所述高维特征确定所述人体的关节点的位置；

根据所述关节点的位置确定关节点之间的连线，将所述关节点的位置以及所述关节点之间的连线作为所述人体的姿态。

3.根据权利要求2所述的人体行为识别方法，其特征在于，所述根据所述关节点的位置确定关节点之间的连线，包括：

针对每两个关节点，根据所述两个关节点的位置获取所述两个关节点的方向向量，将所述两个关节点的方向向量分解为平行方向向量和垂直方向向量；

针对所述两个关节点之间的每个像素点，根据所述像素点的位置以及所述两个关节点的方向向量判断所述像素点是否位于第一关节上；

若所述像素点位于所述第一关节上，根据相关性函数计算所述两个关节点的相关度，将相关度最高的所述两个关节点作为所述第一关节的两端，生成所述两个关节点之间的连线。

4.根据权利要求1所述的人体行为识别方法，其特征在于，所述对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态之后，还包括：

针对每个人体的检测框，当所述检测框内包含多个人体时，基于位于所述检测框内的各人体的姿态，获取所述检测框中的多组关节点组，每组所述关节点组包括属于同一人体的多个关节点，所述人体的检测框为框选出每帧图像中包含的所述人体的外接区域；

从多组关节点组中获取左肩关节点和右肩关节点位于所述检测框内的关节点组；

从左肩关节点和右肩关节点位于所述检测框内的关节点组中选择关节点数量最多的关节点组标记为目标关节点组，将所述检测框内除目标关节点组外的关节点组标记为被遮挡关节点组，将所述目标关节点组对应的人体的姿态作为动作识别的对象。