[发明专利]基于视频的人体动作识别方法、装置、介质及电子设备

说明书

本申请涉及计算机视觉领域，特别地公开了一种基于视频的人体动作识别方法、装置、介质及电子设备。本申请的基于视频的人体动作识别方法包括：获取视频中的多帧多人体图像，其中每帧多人体图像中包括有多个人体实例；生成各帧多人体图像中的人体实例的检测人体边界框；确定各帧多人体图像的图像场景，一种图像场景对应一类或多类动作；基于多帧多人体图像的检测人体边界框和图像场景，识别多帧多人体图像中人体实例的动作，能够通过视频片段中人体实例的视频帧中的周围环境特征，对人体实例的动作类别及概率做后处理，使得最终预测的人体实例的动作类别的准确率更高。

技术领域

本申请涉及计算机视觉领域，特别地公开了一种基于视频的人体动作识别方法、装置、介质及电子设备。

背景技术

在很多场景下，需要对视频中的人体动作进行识别，以确定人体动作的动作类型。例如，在监控系统中，为了感知人的意图，需要对监控系统获取的视频中的人体动作进行识别，在人机交互系统中，为了对人的行为进行理解，需要对人机交互系统获取的视频中的人体动作进行识别。

为了实现对视频中的人体动作的识别，现有方案是从待处理视频提取出某些帧的图片，然后采用卷积神经网络对图片进行特征提取，接下来再根据从图片中提取的人体所在区域的特征向量确定人体的动作类型以及属于每个动作类型的置信度，然后将置信度最大(且置信度大于预设阈值)的动作类型确定为视频中的人体的动作类型。

现有方案中直接提取图片中的部分区域的特征来进行动作识别的方式，但是直接简单的提取图像部分区域的特征可能无法较好地反映人体在视频帧场景中的动作特征，导致动作识别效果不好，准确率较低。

发明内容

本申请实施例提供了一种基于视频的人体动作识别方法，能够通过视频片段中人体实例的视频帧中的周围环境特征，对人体实例的动作类别及概率做后处理，使得最终预测的人体实例的动作类别的准确率更高。

第一方面，本申请实施例公开了一种基于视频的人体动作识别方法，该方法包括：获取视频中的多帧多人体图像，其中每帧多人体图像中包括有多个人体实例；生成各帧多人体图像中的人体实例的检测人体边界框；确定各帧多人体图像的图像场景，一种图像场景对应一类或多类动作；基于多帧多人体图像的检测人体边界框和图像场景，识别多帧多人体图像中人体实例的动作。可以理解的是，包含多帧多人体图像的视频即为拥挤场景下的视频，该多帧多人体图像可以为对该视频进行分帧处理得到的所有图像。上述人体实例的初始人体边界框可以由预先训练的人体检测模型或者常规的人体检测模型检测得到，其中预先训练的人体检测模型可以通过拥挤场景下的多种训练数据集训练得到，支持拥挤场景下的人体实例检测。另外，上述识别多帧多人体图像中人体实例的动作的过程中，可以单次处理连续几帧(如40帧)多人体图像，即单次处理上述视频中的一个视频片段。并且，一种图像场景(即下文中的场景类别)对应一类或多类动作，即下文中的场景类别与动作类别耦合，而人体实例处于特定场景时通常处于对应的特定动作，即人体实例所处的图像场景能够反映人体实例的动作。例如，当人体实例处于图像场景“楼梯”时，人体实例的动作通常为“上下楼梯”。如此，对多帧多人体图像的检测人体边界框中的人体实例的动作进行识别时，结合人体实例所在的图像场景，即结合人体实例与其所处的场景的关系，可以提升最终识别出的人体实例的动作类别的准确率。

需要说明的是，本申请实施例中，为了方便描述，在不同的位置使用不同名称来描述参与人体动作识别的图像，如“视频帧”和“多人体图像”，但其本质不变。