[发明专利]手掌开合动作识别方法和装置

权利要求书

1.一种手掌开合动作识别方法，包括：

采用滑动窗口沿着输入图像序列移动，依次选择预定数量的连续图像序列作为一个识别单元；

从作为所述识别单元的连续输入图像序列中的每一帧图像中分割出手掌形状图像；

从每个所分割的手掌形状图像中抽取出代表手掌姿态的多个特征以便形成属于对应手掌图像的特征向量，并将属于同一识别单元的手掌形状图像的所抽取的特征向量的序列作为隐马尔科夫模型HMM的观察量序列；

将所述观察量序列输入多个HMM中的每个独立手势HMM，计算出所述观察量序列属于对应HMM的概率；以及

将所计算的概率作为特征输入分类器以识别手势动作，并为识别出的手势动作赋予对应的标签，

其中，所述手掌开合动作为手掌从闭合姿态到张开姿态的变化过程或从张开姿态到闭合姿态的变化过程，所述变化过程包括在闭合姿态和张开姿态之间的中间姿态。

2.如权利要求1所述的手掌开合动作识别方法，还包括：

当两个连续手势识别结果的标签不同并且这两个标签中的后一标签表示为开手势或合手势时，将后一标签所对应的手势动作作为候选输出动作；以及

当两个连续手势识别结果的标签相同时，采用后一标签表示的手势结束时间更新前一手势的结束时间从而对候选输出动作进行更新，并且在更新后的候选输出动作的时间长度大于一个预定时间阈值时，通知发生手势动作。

3.如权利要求1或2所述的手掌开合动作识别方法，其中，所述代表手掌姿态的特征是基于沿手掌主方向所在最小覆盖的四边形及手掌轮廓线所在凸包多边形的特征。

4.如权利要求1或2所述的手掌开合动作识别方法，其中，所述特征量被量化为多个级别，每个特征值对应于一个量化的级别，并且量化后的特征向量对应于观测空间中的一观测状态。

5.如权利要求1或2所述的手掌开合动作识别方法，其中，所述多个HMM包括至少三个独立手势HMM，分别为开手势动作HMM、合手势动作HMM以及姿态没变化时的非开非合HMM。

6.如权利要求1或2所述的手掌开合动作识别方法，其中，所述每个独立手势HMM包含N个隐状态分别对应于手掌开/合手势动作过程中的N种姿态，包括起始姿态、终止姿态及中间N-2个的过渡姿态，其中N为大于2的正整数。

7.如权利要求1或2所述的手掌开合动作识别方法，其中，所述每个独 立手势HMM都具有自身的拓扑结构来表明从一个隐状态到另外或到自身隐状态的状态转移关系。

8.一种检测手掌开合手势动作起始帧和结束帧的方法，包括：

根据权利要求1-7之一所述的手掌开合动作识别方法识别手掌开合动作；

根据所述手掌开合动作的识别结果，解码该手势HMM模型来获得与被识别的观察序列匹配的最优的隐状态序列；以及

从所获得的最优的隐状态序列确定出开合手势的起始帧和结束帧。

9.一种手掌开合动作识别系统，包括：

手掌图像分割单元，接收由图像采集单元输入的连续图像帧，采用滑动窗口沿着输入图像序列移动，依次选择预定数量的连续图像序列作为一个识别单元，并从所选择的每帧图像中分割出手掌图像；

手掌姿态特征提取单元，从每个所分割的手掌形状图像中抽取出代表手掌姿态的多个特征以便形成属于对应手掌图像的特征向量，并将属于同一识别单元的手掌形状图像的所抽取的特征向量的序列作为隐马尔科夫模型HMM的观察量序列；

HMM概率评估单元，将所述观察量序列输入多个HMM中的每个独立手势HMM，计算出所述观察量序列属于对应HMM的概率；以及

手势分类器分类单元，将所计算的概率作为特征输入分类器识别手势，

其中，所述手掌开合动作为手掌从闭合姿态到张开姿态的变化过程或从张开姿态到闭合姿态的变化过程，所述变化过程包括在闭合姿态和张开姿态之间的中间姿态。