[发明专利]人体动作识别方法和装置

说明书

本申请实施例公开了人体动作识别方法和装置。该方法的一具体实施方式包括：对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。该实施方式实现了利用待识别视频中人体关键点的协调配合关系及人体动作的时间连续特性进行动作识别，有利于提升识别精度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及人体动作识别方法和装置。

背景技术

图像处理反映了机器对空间事物的理解，是人工智能技术中的一项重要技术。目前基于静态图像的处理方法在图像分类、目标跟踪等任务上取得了较大的进步，而对于由连续图像帧形成的视频的处理，由于除了空间维度的信息之外，还涉及时间维度的信息，处理复杂度较高。

图像处理可以具体应用在人体动作行为的理解中。在基于图像处理技术的人体动作识别技术中，通常会对利用成像设备采集人体动作图像，然后基于人体动作图像进行静态的分类识别。通常人体动作是受到身体结构之间的协调关系的约束、且在时间上连续的行为，每个动作在时间维度上都具有上下文信息，基于静态图像分类识别的动作识别技术难以对这些信息加以利用。

发明内容

本申请实施例提出了人体动作识别方法和装置。

第一方面，本申请实施例提供了一种人体动作识别方法，包括：对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列；采用已训练的人体关键点检测模型对采样图像帧序列进行关键点检测，得到采样图像帧序列中每个采样图像帧的人体关键点位置热图，人体关键点位置热图用于表征预设人体关键点所在位置的概率特征；将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作。

在一些实施例中，上述对输入的待识别视频进行采样，得到待识别视频的采样图像帧序列，包括：将输入的待识别视频划分为多个视频段，从每个视频段中抽取一帧图像作为该视频段的采样图像帧，基于各视频段的采样图像帧生成待识别视频的采样图像帧序列。

在一些实施例中，上述将采样图像帧序列的人体关键点位置热图输入已训练的动作分类模型进行分类，得到待识别视频对应的人体动作识别结果，包括：将采样图像帧序列中的各采样图像帧的人体关键点位置热图输入已训练的动作分类模型的图像特征提取网络，提取出采样图像帧序列的人体关键点位置特征图；将采样图像帧序列的人体关键点位置特征图输入已训练的动作分类模型的动作特征提取网络，得到采样图像帧序列对应的动作特征；基于采样图像帧序列的动作特征对采样图像帧序列对应的待识别视频所指示的人体动作进行分类，得到待识别视频的人体动作识别结果。

在一些实施例中，上述方法还包括：基于已标注的样本图像集合训练得出人体关键点检测模型，包括：获取样本图像集合，样本图像集合包括样本图像和样本图像中人体关键点位置的标注信息；基于样本图像中标注的人体关键点位置，生成以人体关键点位置为中心、向人体关键点位置的四周概率递减的概率热图，作为样本图像的人体关键点位置热图的标注结果；将样本图像输入待训练的人体关键点检测模型对应的神经网络进行预测，基于待训练的人体关键点检测模型对应的神经网络的预测结果与样本图像的人体关键点位置热图的标注结果之间的差异，迭代调整待训练的人体关键点检测模型对应的神经网络的参数，在满足预设的第一收敛条件时停止迭代，得到已训练的人体关键点检测模型。