[发明专利]动作识别、姿势估计的方法及装置

说明书

本申请提供了一种动作识别、姿势估计的方法及装置。涉及人工智能领域，具体涉及计算机视觉领域。该动作识别方法包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。本申请能够提高动作识别的准确率。

技术领域

本申请涉及人工智能领域中的计算机视觉领域，并且更具体地，涉及一种动作识别、姿势估计的方法及装置。

背景技术

在很多场景下，需要对视频中的人体动作进行识别，以确定人体动作的动作类型。例如，在监控系统中，为了感知人的意图，需要对监控系统获取的视频中的人体动作进行识别，在人机交互系统中，为了对人的行为进行理解，需要对人机交互系统获取的视频中的人体动作进行识别。

为了实现对视频中的人体动作的识别，现有方案是从待处理视频提取出某些帧的图片，然后采用卷积神经网络对图片进行特征提取，接下来再根据从图片中提取出来的特征向量确定人体的动作属于每个动作类型的置信度，然后将置信度最大(且置信度大于预设阈值)的动作类型确定为视频中的人体的动作类型。

现有方案提取的是图片中的所有区域的特征，这些特征中包含了大量的与动作无关的特征，因此，最终进行动作识别的效果不好。另外，现有方案中还存在直接提取图片中的部分区域的特征来进行动作识别的方式，但是直接简单的提取图像部分区域的特征也可能无法较好地反映人体的动作特征，导致动作识别的准确率仍然较低。

发明内容

本申请提供一种动作识别方法、姿势估计方法及装置，能够提高动作识别的准确率。

第一方面，提供了一种动作识别方法，所述方法包括：确定待处理视频，所述待处理视频为包含人体图像的视频；根据所述待处理视频确定待处理图像，所述待处理图像为下列图像中的至少一种：第一图像，根据所述待处理视频中的多帧图像生成的光流图像，其中，所述第一图像为所述待处理视频中的任意一帧图像，或者，所述第一图像为所述待处理视频中的多帧图像合成的图像；对所述待处理图像进行卷积处理，得到多个特征向量，其中，所述多个特征向量分别用于表示所述待处理图像不同位置的特征；根据所述多个特征向量确定所述人体的人体关节的权重系数集合，其中，所述人体关节的权重系数集合包括所述多个特征向量中的每个特征向量在所述人体关节的权重系数，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，所述第一类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第一距离，所述第二类特征向量对应在所述待处理图像中的位置和所述人体关节对应在所述待处理图像中的位置之间的距离为第二距离，所述第一距离小于或者等于所述第二距离，所述人体关节的数量为多个，每个人体关节均对应一个权重系数集合；根据所述人体关节的权重系数集合对所述多个特征向量进行加权处理，得到所述人体关节的动作特征；

根据所述人体关节的动作特征确定所述人体的动作特征；根据所述人体的动作特征，确定所述人体的动作类型。

本申请中，第一类特征向量的权重系数大于或者等于第二类特征向量的权重系数，而第一类特征向量对应在待处理图像中的位置与人体关节对应在待处理图像中的位置的距离要小于或者等于第二类特征向量对应在待处理图像中的位置与人体关节对应在待处理图像中的位置的距离，因此，在本申请中，离人体关节越近的区域对应的特征向量的权重系数越大，这样能够使得待处理图像中与动作密切相关的特征在动作识别时占有较大的比重，而待处理图像中与动作不太相关的特征在动作识别时占有较小的比重，本申请在动作识别时充分考虑了待处理图像不同区域的特征在动作识别中的重要性，能够得到更加鲁棒的动作特征，从而能够提高动作识别的准确率。