[发明专利]动态人体姿态的语义理解方法、装置、设备和存储介质

说明书

本发明实施例公开了一种动态人体姿态的语义理解方法、装置、设备和存储介质。本发明实施例动态人体姿态的语义理解方法，包括：从获取的视频流图像帧中识别目标人物；根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列，其中，所述指令图像帧为目标人物出现指令姿态的图像帧；根据所述语义图像帧序列中的姿态识别对应的语义。本发明实施例能够适应更丰富场景下的人体姿态识别，提高识别准确性。

技术领域

本发明实施例涉及模式识别和计算机视觉领域技术，尤其涉及一种动态人体姿态的语义理解方法、装置、设备和存储介质。

背景技术

人体姿态估计是计算机视觉领域的一个重要技术，通过识别人的动作揣摩人的意图，可以将其应用于人体活动分析、人机交互和视频监视等方面。例如，对运动员进行姿态估计，分析运动过程中动作的关键点，学习姿态的位置、方向和尺度，可以帮助运动员有针对性的制定训练计划；一些带有体感体验的娱乐设备，可以通过人体姿态估计，识别人体的姿态，翻译出姿态对应的控制指令，从而可以控制娱乐设备作出相应的反应；对监控视频中的人进行人体姿态估计，检测是否有异常情况，可以提高视频监控整体水平。

目前大多数视觉控制是基于人体局部部位的检测，最常见的是脸部和手部，其需要被检测的局部部位在图像中占据主要位置，例如，人脸必须处于图像的中间位置，清晰且占据大部分区域，通过人脸的左右转动、上下俯仰，分别表示不同的语义。但是这种方法可以表达的语义有限，难以满足复杂场景下的信息准确传递和控制。

也可以通过点特征匹配法、图结构化模型和统计模型等方法进行人体姿态估计。但是在复杂环境中，会出现人物相互遮挡，姿态复杂，图像模糊，有类人物体等情况，很容易出现误检现象，导致机器不能准确识别到控制指令，及时作出反应。而且目前基于人体姿态估计的语义理解只有针对静态单帧图像，可获得的语义也是有限的。

发明内容

本发明实施例提供一种动态人体姿态的语义理解方法、装置、设备和存储介质，以适应更丰富场景下的人体姿态识别，提高识别准确性。

第一方面，本发明实施例提供了一种动态人体姿态的语义理解方法，包括：

从获取的视频流图像帧中识别目标人物；

根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列，其中，所述指令图像帧为目标人物出现指令姿态的图像帧；

根据所述语义图像帧序列中的姿态识别对应的语义。

可选的，所述根据所述语义图像帧序列中的姿态识别对应的语义，包括：

将所述语义图像帧序列中的连续姿态输入循环神经网络，根据预先得到的动态姿态识别模型分类出所述语义图像帧序列对应的语义，所述动态姿态识别模型包括多个连续姿态和其表达的语义之间的对应关系。

可选的，在所述根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列之前，还包括：

将所述视频流图像帧中连续出现所述指令姿态的图像帧进行合并,作为一个所述指令图像帧；或者，

保留所述视频流图像帧中连续出现所述指令姿态的图像帧的第一帧或最后一帧，作为所述指令图像帧。

可选的，所述从获取的视频流图像帧中识别目标人物，包括：

对所述视频流图像帧进行特征提取，将提取出来的所述特征与目标检测模型进行匹配，根据匹配结果确定所述目标人物。

可选的，所述目标检测模型包括以下任一种或几种信息：

所述目标人物的外貌特征信息；

所述目标人物的衣着信息；

所述目标人物的位置信息；