[发明专利]检测手部动作的方法和装置

说明书

公开了检测手部动作的方法和装置。该方法包括：在视频的一个帧图像中识别包含人的手部的区域；将所述区域划分为多个块，并且针对每个块计算运动矢量；将得到的多个运动矢量聚类为第一聚类和第二聚类，其中对应于第一聚类的运动矢量的多个第一块对应于左手和右手中的一个，并且对应于第二聚类的运动矢量的多个第二块对应于左手和右手中的另一个；识别第一聚类和第二聚类所对应的手在所述一个帧图像之后的帧图像中的运动；通过将所识别的运动与预定动作模式进行匹配，来确定手部的动作。

技术领域

本发明涉及动作检测方法和装置，更具体地，涉及通过运动场分析来检测手部动作的方法和装置。

背景技术

手部动作识别是计算机视觉中的一项重要任务，其主要目标是分析识别视频中的手部的动作类别。近年来，已经将基于深度学习的方法应用于该任务中，这种方法尽管具有较好的性能，但是仍然存在一些缺点。首先，为了训练模型，该方法需要对大量的数据预先进行标记，然而标记数据需要大量的人工劳动，并且针对某些应用可能很难获得大量已标记的数据。其次，通过训练得到的模型对于开发者而言类似一个“黑箱”，对于错误的输出往往很难给出合理的解释。第三，如果需要识别新的动作类别，该方法不能直接利用现有模型，而需要重新训练新的模型。

发明内容

针对基于深度学习的方法中存在的上述缺点，本发明提出了一种新的手部动作检测方法。根据本发明的方法分析视频的每个帧中的手部区域的运动场，由此，即使两只手在很大程度上互相重叠，也能够根据运动信息在每个帧图像中将两只手区分开。此外，在本发明中，基于两只手的绝对运动和/或相对运动来描述每种手部动作，并且基于预先定义的动作模式来识别手部动作。因此，相比于基于深度学习的方法，本发明对于要识别的各种手部动作进行基于运动信息的高层描述，这样的描述更多地依赖于先验知识，而不是大量数据。以此方式，通过本发明的方法得到的识别结果对于开发者而言更容易理解，并且增加新的动作类别也更加方便。

根据本发明的一个方面，提供了一种用于检测手部动作的方法，包括：在视频的一个帧图像中识别包含人的手部的区域；将所述区域划分为多个块，并且针对每个块计算运动矢量；将得到的多个运动矢量聚类为第一聚类和第二聚类，其中对应于第一聚类的运动矢量的多个第一块对应于左手和右手中的一个，并且对应于第二聚类的运动矢量的多个第二块对应于左手和右手中的另一个；识别第一聚类和第二聚类所对应的手在所述一个帧图像之后的帧图像中的运动；通过将所识别的运动与预定动作模式进行匹配，来确定手部的动作。

根据本发明的另一个方面，提供了一种用于检测手部动作的装置，包括一个或多个处理器，所述处理器被配置为：在视频的一个帧图像中识别包含人的手部的区域；将所述区域划分为多个块，并且针对每个块计算运动矢量；将得到的多个运动矢量聚类为第一聚类和第二聚类，其中对应于第一聚类的运动矢量的多个第一块对应于左手和右手中的一个，并且对应于第二聚类的运动矢量的多个第二块对应于左手和右手中的另一个；识别第一聚类和第二聚类所对应的手在所述一个帧图像之后的帧图像中的运动；通过将所识别的运动与预定动作模式进行匹配，来确定手部的动作。

根据本发明的另一个方面，提供了一种存储有程序的记录介质，所述程序在被计算机执行时，使得计算机实现如上所述的检测手部动作的方法。

附图说明

图1示意性地示出了根据本发明的手部动作检测方法的流程图。

图2示出了在帧图像中区分左手和右手的一个示例。

图3示出了图1中的步骤S140的处理的一个示例。

图4示出了图1中的步骤S140的处理的另一个示例。

图5示出了实现本发明的计算机硬件的示例性配置框图。

具体实施方式

图1示出了根据本发明的手部动作检测方法的流程图，图2示出了在一个示意性的帧图像中的相应处理。