[发明专利]一种基于相关物体感知的动作识别方法

说明书

本发明涉及一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，其特征在于，包括以下步骤：1)通过卷积神经网络提取待识别图像的特征图；2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；4)获取待识别图像中的人物，提取人体特征；5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别，与现有技术相比，本发明具有识别精度高等优点。

技术领域

本发明涉及动作识别领域，尤其是涉及一种基于相关物体感知的动作识别方法。

背景技术

动作识别是计算机视觉领域内的一个长期且热门的研究方向，其相关技术在文化娱乐、信息检索、安全监控和医疗卫生等领域广泛应用。相较于图像分类等其它计算机视觉任务，由于人在进行动作时姿态多变，类内差异性大，类间差异性小，再结合视角、光照等多种因素的变化，使得动作识别任务充满挑战性。

为了解决这个极具挑战性的任务，动作相关的物体作为关键信息之一被研究者们广泛利用。为了获取物体信息，现有方法都是使用单独的目标检测网络独立检测出物体，再用另一个分类网络进行动作分类。

然而，现有方案中经常被忽视的一个问题：训练能够检测物体的目标检测网络需要密集的物体标注。尽管目标检测领域近些年来高速发展，但目前能高效准确识别出物体的方法，如，Faster RCNN、YOLO、SSD等，仍然都依赖于数据集中事先标注的大量物体进行训练。即使是目前最常用的大规模数据集——COCO数据集也只提供了80个类别的物体信息。物体标注信息限制了检测器能够检测出的物体类别和数量，而标注物体信息又相当耗时费力，更不用说，我们几乎不可能标注出实际应用场景中所有可能存在的物体。另外，即使有零次学习(zero-shot learning)技术，但是在目标检测领域刚刚起步，尚不能应用到动作识别任务中。现有方法采用预训练的目标检测器，使得其难以检测出不在训练数据中的动作相关物体，从而影响动作识别精度。

此外，即使提供了物体标注信息，让目标检测器直接预测出可能在各个位置出现的物体仍然不是一件简单的事，也会影响动作识别的精度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于相关物体感知的动作识别方法，在无需物体标注的情况下，找出并提取动作相关的物体特征，提高动作识别的精度。

本发明的目的可以通过以下技术方案来实现：

一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，包括以下步骤：

1)通过卷积神经网络提取待识别图像的特征图；

2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；

3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；

4)获取待识别图像中的人物，提取人体特征；

5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别。

进一步地，所述的步骤2)具体包括：

201)以输入特征图上每一个像素位置为中心，分别设置K个不同尺度的锚点框，作为物体候选框枚举出待识别图像中的物体；

202)计算各物体候选框对应的动作相关性分数；

203)利用sigmoid函数将各物体候选框对应的动作相关性分数映射到0到1之间，得到标准动作相关性分数。

进一步优选地，所述的计算各物体候选框对应的动作相关性分数具体包括：