[发明专利]基于环境语义理解的人体行为识别方法、装置及存储介质

说明书

本发明涉及视频图像处理及人工智能技术领域，尤其涉及一种基于环境语义理解的人体行为识别方法、装置及存储介质。该方法包括：检测视频流中各帧图像包含的人体和物品；对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态；将人体的姿态输入第一卷积神经网络获取各人体不同动作类别的发生概率；将人体的姿态和人体周围的物品输入第二卷积神经网络获取各人体摔倒的发生概率；输出行为识别结果。通过上述方式，避免了姿态识别过程中将物品作为人体进行误识别，提高了人体姿态识别的准确性和实时性；第二卷积神经网络利用人体的姿态和周围的物品进行摔倒识别，提高了检测动作的准确度，对于不稳定的人体的姿态识别具有良好的鲁棒性。

【技术领域】

本发明涉及视频图像处理技术领域，还涉及人工智能领域，尤其涉及一种基于环境语义理解的人体行为识别方法、装置及存储介质。

【背景技术】

现有技术中人体姿态识别的主流方案是采用自上而下和自下而上的算法，采用自下而上的算法识别人体姿态时，会有很大的概率产生误识别，例如，误将椅子或仓库摆放的机器人等物品作为人体并从中预测出人体的姿态，误识别会严重影响到算法的识别准确度以及使用场景，并且模型的不稳定性会给算法的应用增加较大的不确定性；同时，自下而上的算法增加了计算的时间复杂度和空间复杂度；另外，自上而下的算法对多人存在的复杂场景中估计位姿的准确率以及速度都较低。

估计出人体位姿后，需要根据人体位姿进行动作分类以识别人体行为，现有技术中大多采用基于端到端的算法模型进行动作分类，该算法模型对输入的人体位姿的准确度要求很高，也对标注的数据的质量要求很高，从而使得端到端的动作识别容易产生较大的偏差，识别的准确率较低。

因此，有必要提供一种新的人体行为识别方法以解决上述技术问题。

【发明内容】

本发明的目的在于提供一种基于环境语义理解的人体行为识别方法、装置及存储介质，能够解决现有技术中人体姿态识别的准确性低以及检测动作的准确度低的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于环境语义理解的人体行为识别方法，包括：

检测视频流中各帧图像包含的人体和物品；

对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态；

将所述视频流中连续的多帧图像中各人体的姿态输入到预先训练完成的第一卷积神经网络中，获取第一动作识别结果，所述第一卷积神经网络用于动作识别，所述第一动作识别结果包括各人体不同动作类别的发生概率；

获取各人体周围的物品，将所述视频流中连续的多帧图像中各人体的姿态以及各人体周围的物品输入到预先训练完成的第二卷积神经网络中，获取第二动作识别结果，所述人体周围的物品为每帧图像中与所述人体的距离小于或等于预设阈值的物品，所述第二卷积神经网络用于摔倒动作识别，所述第二动作识别结果包括各人体摔倒的发生概率；

根据所述第一动作识别结果和所述第二动作识别结果输出各人体的行为识别结果。

优选地，所述检测视频流中各帧图像包含的人体和物品，包括：

按照预设的划分方式，将所述视频流中各帧图像划分为多个网格；

在每个网格中，通过预先设置的不同类型的检测框进行目标预测，针对每个检测框，获取所述检测框预测的目标的坐标参数、检测框的宽度和高度以及检测框的置信度，将置信度最高的检测框作为预测结果，所述预测结果包括所述目标、所述检测框、所述目标的坐标参数以及所述目标的类别，所述检测框为框选出所述目标的外接区域，所述目标的类别包括人体和物品；

根据所述预测结果确定所述视频流中各帧图像包含的人体和物品。

优选地，所述人体的姿态包括关节点的位置和关节点之间的连线；所述对检测到的每帧图像中包含的各人体进行姿态识别，得到各人体的姿态，包括：