[发明专利]自学习的基于肤色模型的手部跟踪装置及方法

权利要求书

1.一种自学习的基于肤色模型的手部跟踪装置，其特征在于，包括：

预处理单元，包括背景模型和肤色模型，用于从本帧图像中提取手部候选区域，以及用于通过形态学检测，从手部候选区域获取初始手部区域h_init；

自学习单元，用所述手部候选区域和初始手部区域h_init自学习，得到本帧自学习后的手部区域h_final；以及

后序处理单元，用于对本帧自学习后的手部区域h_final处理，得到手部轮廓和指尖位置；

所述自学习单元包括手部跟踪器、手部识别器和P-N学习器，所述手部跟踪器用于对所述初始手部区域h_init和前一帧自学习后的手部区域h_final跟踪；所述手部识别器用P-N学习器识别的前一帧的负样本在线训线，对所述手部候选区域识别；所述P-N学习器用手部跟踪器的跟踪结果和手部识别器的识别结果训练内部的P-N分类器，以及用P-N分类器对所述手部候选区域分类，获取本帧自学习后的手部区域h_final。

2.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述手部识别器包括离线分类器和在线分类器，二者依次级联，离线分类器用Haar特征进行分类，在线分类器用2bit Binary特征进行在线训练和分类。

3.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述手部跟踪器包括

第一模块，用于对本帧的初始手部区域h_init和前一帧自学习后的手部区域h_final合并，建立搜索窗；

第二模块，用于从搜索窗内选取跟踪的特征点；

第三模块，用于计算各个特征点的光流向量；

第四模块，用于计算光流向量的加权平均值；

第五模块，用于将算得的加权平均值作为搜索窗的移动矢量，更新搜索窗。

4.根据权利要求3所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，第三模块中采用Lucas-Kanada稀疏光流法计算光流向量；前一帧自学习后的手部区域h_final特征点的权重大于本帧的初始手部区域h_init特征点的权重。

5.根据权利要求3所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，第二模块选取的特征点包括角点、亮度梯度变化大的点、和/或边缘点。

6.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述预处理单元中，形态学检测的特征包括圆形度、凸缺陷和/或轮廓。

7.根据权利要求1所述的自学习的基于肤色模型的手部跟踪装置，其特征在于，所述P-N学习器在每次分类后用自学习后的手部区域h_final和手部运动轨迹更新P-N分类器。

8.一种自学习的基于肤色模型的手部跟踪方法，其特征在于，包括：

预处理步骤：从本帧图像中提取手部候选区域，以及通过形态学检测，从手部候选区域获取初始手部区域h_init；

自学习及P-N分类步骤：用所述手部候选区域和初始手部区域h_init自学习，得到本帧自学习后的手部区域h_final；以及

后序处理步骤：对本帧自学习后的手部区域h_final处理，得到手部轮廓和指尖位置；

所述自学习及P-N分类步骤包括：

对所述初始手部区域h_init和前一帧自学习后的手部区域h_final跟踪的手部跟踪步骤；

用P-N学习器识别的前一帧的负样本在线训线，对所述手部候选区域识别的手部识别步骤；以及

用手部跟踪器的跟踪结果和手部识别器的识别结果训练P-N分类器，以及用P-N分类器对所述手部候选区域分类，获取本帧自学习后的手部区域h_final的P-N学习及分类步骤。