[发明专利]自学习的基于肤色模型的手部跟踪装置及方法

说明书

技术领域

本发明涉及人机交互领域中手势识别和手部跟踪，尤其涉及自学习的基于肤色模型的手部跟踪装置及方法。

背景技术

随着计算机技术的发展，人机交互关系技术也经历着巨大的变化，人们希望越来越方便的同电脑进行交流与互动。当前在人机交互技术领域，多媒体技术的相对成熟极大地改善了计算机信息表现能力，同时也更显出交互输入手段的严重不足，呈现出人与计算机输入输出通信带宽的严重脱节。多通道人机交互技术研究打破常规，突破传统交互设备，如鼠标、键盘、遥控器等的限制，力图使人全方位地与计算机进行通信，彻底解决计算机处理高维信息所要求的双向高通信带宽。近年来随着虚拟现实技术的迅猛发展，大大地促进了人们在人脸识别、表情解释、口形识别、头部方位检测、视线跟踪、三维定位、手势解释和人体姿势解释等方面研究工作的积极性和动力。

人的手臂和手掌及手指共有27个自由度（6个臂部自由度，21个掌部自由度），因而人的手势可以传达出非常丰富的信息，并且可以作为一种更为直观和自然的交流方式。可以为实现设备间的互联和完成无缝的数据交换提供“以人为本”的技术。随着智能手机和平板电脑等新移动终端的普及，智能手势识别技术正成为人们最期望的人机交互技术之一。

可见，基于视觉进行手势识别的外部条件已经基本成熟。目前，国内对于手势识别研究处于初步阶段，绝大部分的鲁棒性比较差，比如不能很好的区分手部和脸部区域，易受干扰等。动态手势识别是手势识别的主要方面，它包括的主要问题有识别和跟踪两个方面。跟踪是识别的基础，是重中之重。如何提供一种不易受光照影响，不因人种肤色差异而失效，能有效解决其他移动物体干扰情况下和手部被遮挡情况下跟踪丢失机率大等问题的方法，是研究手势识别所需的关键技术。

有鉴于此，本发明立足于提出一种系统鲁棒的手部跟踪的方法和装置，推动手部识别技术的发展，进而为人机交互添砖加瓦。

发明内容

针对现有手部跟踪方法应用于基于视觉的人机交互领域时，跟踪效果易受干扰，不稳定，在其他移动物体干扰情况下和手部被遮挡情况下跟踪丢失机率大的缺陷，提供一种自学习的基于肤色模型的手部跟踪装置及方法。

本发明提供的自学习的基于肤色模型的手部跟踪装置，包括：

预处理单元，包括背景模型和肤色模型，用于从本帧图像中提取手部候选区域，以及用于通过形态学检测，从手部候选区域获取初始手部区域h_init；

自学习单元，用所述手部候选区域和初始手部区域h_init自学习，得到本帧自学习后的手部区域h_final；以及

后序处理单元，用于对本帧自学习后的手部区域h_final处理，得到手部轮廓和指尖位置；

所述自学习单元包括手部跟踪器、手部识别器和P-N学习器，所述手部跟踪器用于对所述初始手部区域h_init和前一帧自学习后的手部区域h_final跟踪；所述手部识别器用P-N学习器识别的前一帧的负样本在线训线，对所述手部候选区域识别；所述P-N学习器用手部跟踪器的跟踪结果和手部识别器的识别结果训练内部的P-N分类器，以及用P-N分类器对所述手部候选区域分类，获取本帧自学习后的手部区域h_final。

优选地，所述手部识别器包括离线分类器和在线分类器，二者依次级联，离线分类器用Haar特征进行分类，在线分类器用2bit Binary特征进行在线训练和分类。

优选地，所述手部跟踪器包括：

第一模块，用于对本帧的初始手部区域h_init和前一帧自学习后的手部区域h_final合并，建立搜索窗；

第二模块，用于从搜索窗内选取跟踪的特征点；

第三模块，用于计算各个特征点的光流向量；

第四模块，用于计算光流向量的加权平均值；

第五模块，用于将算得的加权平均值作为搜索窗的移动矢量，更新搜索窗。

优选地，第三模块中采用Lucas-Kanada稀疏光流法计算光流向量；前一帧自学习后的手部区域h_final特征点的权重大于本帧的初始手部区域h_init特征点的权重。

优选地，第二模块选取的特征点包括角点、亮度梯度变化大的点、和/或边缘点。

优选地，所述预处理单元中，形态学检测的特征包括圆形度、凸缺陷和/或轮廓。