[发明专利]手掌开合动作识别方法和装置

说明书

本发明提供了一种手掌开合动作识别方法。该方法包括：采用滑动窗口沿着输入图像序列移动，依次选择预定数量的连续图像序列作为一个识别单元；从每一帧图像中分割出手掌形状图像；从手掌形状图像中抽取出代表手掌姿态的多个特征以便形成属于对应手掌图像的特征向量，并将属于同一识别单元的手掌形状图像的所抽取的特征向量的序列作为隐马尔科夫模型HMM的观察量序列；将所述观察量序列输入多个HMM中的每个独立手势HMM，计算出所述观察量序列属于对应HMM的概率；以及将所计算的概率作为特征输入分类器识别手势。

技术领域

本发明涉及一种机器视觉人机交互领域，特别地，它提供了一种从输入的图像序列或视频中识别手掌开合手势动作的方法。

背景技术

手势作为一种自然直观的交流方式，它并不需要额外的设备的辅助，就能被广泛的用于与电子设备的交互。基于计算机视觉的手势识别技术已经广泛用于人机交互。基于计算机视觉的手势识别技术接收可视化图像输入，向外输出手势姿态或手势动作的类型，由此那些受计算机控制的设备就能将不同的手势姿态或手势动作解释为不同的命令来完成交互的操作，比如开/关,点击，触摸与否或电视频道的切换等。

在专利文献1中，美国专利US7821541B2公开了一种对手的2个状态进行识别的方法。这个2个手的状态分别是握住的拳头状态（a closed fist）和打开的手掌状态。这里的识别是对静态的开合手掌姿态的识别。其中，只有单一的静态特征被用到，比如它是通过检测是否有3个连续的手指临近到另外一个手指的直观规则来判断是否为“开”状态。由于在实际的系统里，获得清晰的手的外形图像并不是件容易的事情（通常受距离，设备精度和光照条件影响），因此该方法并不鲁棒。此外该方法只是基于单帧图像来是识别姿态。

在非专利文献1中，作者为Zhou Ren的文章“Robust Hand Gesture RecognitionBased on Finger-Earth Mover’s Distance with a Commodity Depth Camera”,Proceedings of the19th ACM international conference on Multi-media,MM'11,ACM,New York,NY,USA,2011,pp.1093–1096中，采用了时间序列曲线（time-series curve）来表述手的形状信息，该时间序列曲线记录了手掌轮廓上每个点到手掌中心点的相对距离。另外，该文章还定义了FEMD（Finger-Earth Mover’s Distance）距离度量算子来计算2个手形状的相似性。本质上，该方法是用模板匹配技术来实现手掌姿态的识别。虽然比起美国专利“US7821541B2”，它能识别更多的姿态，但其不足之处却是相同的。

在非专利文献2中，作者为Nguyen Dang Binh的文章“Real-Time Hand Trackingand Gesture Recognition System”(by Nguyen Dang Binh,Kyushu Institute ofTechnology),采用了伪二维隐马尔科夫模型(P2-DHMMs)来识别静态手势。这个P2-DHMM包含5个超级状态（super-states），每个超级状态下又对手掌图像的行序列进行建模，超级状态模型的拓扑结构是线性的，只允许自己状态向自己转移或转向下一个超级状态。而这篇文章的方法是对空域中对不同姿态下子区域图像的关系进行建模，而不是对时间域里的姿态转移进行建模。

以上的方法主要解决了静态手势识别，而手掌开合手势动作有别于静态手掌姿态，它是个动态的过程，由一系列的姿态序列从姿态“开”到“合”或从“合”到“开”组成，包括这开合状态转换过程中的半开半合的中间状态。为了识别动态手势，最重要的事情就是从特征抽取的角度或从模型的角

度来完成对姿态在姿态序列中的变化进行描述或建模。