[发明专利]手势跟踪方法及系统

说明书

技术领域

本发明涉及基于视觉和图像的目标跟踪及人机交互领域，尤其涉及一种适用于电视嵌入平台的手势跟踪方法及系统。

背景技术

基于手势的人机交互操作作为一种重要的人机交互方法，近年来广受关注。例如，通过普通摄像头采集用户的动作画面，通过模式识别算法，对图像中的手部特征进行检测和跟踪，将手部的运动信息转化为电视屏幕光标的运动信息，反馈给智能电视终端，并触发相应的操作命令，如电视节目的切换，电视光标的移动，以及简单的游戏互动等。手势识别技术基于智能终端所配备的摄像头，在终端安装相应的识别软件，即可完成以上操作，因而在硬件成本和操作方式上都具有极大的优势，因而该技术正在逐渐成为智能电视的标配模块。其中所涉及到的一个关键问题就是如何准确而流畅地进行手部特征的跟踪，从而使得显示器鼠标或者电视屏幕光标随着手的移动而准确地移动，这一过程也称为手势跟踪技术。

然而现有的基于视觉方法的手势跟踪方法，存在着以下普遍问题：1)稳定性差，受到环境光照和复杂背景等因素的影响，以及手部在运动过程中产生的角度改变导致的图像中的手形的改变，极其容易造成跟踪目标的丢失和操作中断；2)计算效率低，基于肤色、形状等手部特征信息，容易受到外界因素干扰，而基于高复杂度在线机器学习和训练等方法，又极大的提高了跟踪算法的复杂度，庞大的运算量使其难以在低运算能力的嵌入式平台，如智能电视平台上稳定流畅的运行。

因而如何开发简单快速而稳定的手势目标跟踪算法，使其可以在低运算能力的嵌入式平台上得以应用已成为目前急需解决的问题，而对于所有的手势交互系统而言，跟踪的准确性和稳定性直接关系到用户操作的流畅性和体验程度，因而是手势人机交互系统的关键问题之一。

发明内容

本发明针对以上问题，提出了一种可行的简单快速而稳定的手势跟踪方法，所述手势跟踪方法包括：设计手势的表观模型，包括用于跟踪预测和预测验证的图像描述方式；手势检测获得目标的初始状态，即目标的位置、大小信息；根据所述初始状态对目标的跟踪器进行初始化，包括初始化表观模型，即初始化用于跟踪预测和预测验证的图像描述模板，并初始化跟踪器所记录的被跟踪手势的类别、状态(位置&尺寸)、以及可见性；根据所述跟踪器信息，通过跟踪处理对目标的状态和可见性做出最终估计；判断目标的可见性，其中，若永久丢失，则需要重新启动检测来获得一个跟踪目标，否则，继续跟踪。

优选地，还包括如下步骤：根据上一帧的目标状态设定跟踪限制区域R，用于跟踪当前帧中的目标。

优选地，还包括如下步骤：所述跟踪处理中的操作，包括预测、验证和局部检验，仅局限于所述的跟踪限制区域R之中进行。

优选地，还包括如下步骤：在所述跟踪限制区域R内，对被跟踪手势之外的其他手势进行检测，用于当手势突变时对手势的表观模型进行更新。

优选地，当从局部检测结果中发现存在手势类别的变化时，则放弃原来的手势模型，用检测的结果重新初始化跟踪器信息和表观模型。

优选地，在目标状态做预测的步骤中，采用的是颜色直方图结合cam-shift的办法，根据前一帧或者前若干帧的目标状态，对当前帧中的目标状态做出预测。

优选地，对预测结果做验证的步骤中，采用的是分块LBP直方图和边缘梯度方向直方图这样两种描述方式。

优选地，还包括如下步骤：根据所述跟踪处理的结果，对所述跟踪器的信息进行更新，包括对表观模型的更新，和对跟踪器所记录的手势类型、状态以及可见性的更新。

优选地，当目标发生短暂丢失的时候，并不立即终止跟踪进程；而是依据先前帧的状态设置较大范围的跟踪限制区域，往后的若干帧继续在此限制区域内做跟踪处理。