[发明专利]一种实时手势跟踪方法及跟踪系统

说明书

技术领域

本发明涉及视频运动图像数据处理及机器视觉领域，特别涉及一种利用手的皮肤颜色和手势的运动信息混杂实现手势跟踪的方法和实现该方法的系统。

背景技术

实时的手势跟踪算法一直是图像处理和机器视觉领域研究的热点问题，同时也是难点问题，尽管已经提出了一系列的跟踪算法，并且取得了较好的效果，中国专利公开号CN102053702A，就公开了一种动态手势控制系统与方法。但这些跟踪方法都存在一定的缺陷，如camshift方法只用于了肤色信息，导致手势的准确跟踪存在问题，因而影响人机交互技术的发展，究其原因是人的手势具有多样性和复杂性，另外各人所处的环境差异很多，因此，如何在复杂的背景中实现手目标的准确跟踪至关重要。

关于手势跟踪算法，主要有光流法、基于肤色信息的跟踪方法和camshifft方法等。光流是空间运动物体在观测成像面上的像素运动的瞬时速度，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流场(optical flow field)是指图像灰度模式的表观运动。它是一个二维矢量场，它包含的信息即是各像点的瞬时运动速度矢量信息，研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像一种光的“流”，故称之为光流(optical flow)。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。

目前手势跟踪算法主要是分成三类，一类是基于肤色信息的手势跟踪算法，基于肤色特征的手势检测方法有三个缺陷，一是光照对肤色影响很大，导致手势检测在一些情况下，完全失效；二是在实际过程中，人脸等也会作为目标进入检测系统中；三是当背景中存在和肤色相关的背景时，背景也会被认为是目标；另一类也是肤色信息的改进型即camshift方法，由于利用了meanshift算法，其跟踪性能比第一类要有提高，但当有肤色干扰时，跟踪精度有会明显下降；基于光流场的光流法对目标跟踪有好的效果，对光照变化较鲁棒，同时背景的变化对其影响较少，因此成为了目标跟踪的首选，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件不能满足，不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的要求，因此一般不被对精度和实时性要求比较高的监控系统所采用。

发明内容

本发明通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。

本发明为实现其目的而采用的技术方案是：一种实时手势跟踪方法，包括以下步骤

步骤A、利用图像传感器单元获取目标的彩色影像；

步骤B、以提高图像质量为目标，对影像进行处理；

步骤C、从影像中的每帧图像中区分目标与背景；

步骤D、在目标中剔除人脸，目标中剩余部分即为手势；

步骤E、利用光流法完成手势跟踪，并对系统的可信度进行评估。

进一步的，上述的实时手势跟踪方法中：所述的步骤A中，图像传感器为摄像头或者其它网络摄像机。

进一步的，上述的实时手势跟踪方法中：所述的步骤A中，所述的目标是指人像。

进一步的，上述的实时手势跟踪方法中：所述的步骤B中：对影像处理包括对视频信号进行除噪和放大。

进一步的，上述的实时手势跟踪方法中：所述的步骤C中：利用先验的肤色信息完成背景与人像目标的分离。

进一步的，上述的实时手势跟踪方法中：所述的步骤C中：包括以下分步骤：

C01、将步骤B中处理后的影像中的每一帧图像转化到HSV空间；

C02、在HSV空间里，利用先验肤色信息，确定每一帧图像中的肤色区域，并将非肤色区域剔除。

进一步的，上述的实时手势跟踪方法中：所述的步骤E中：并对系统的信度进行评估考虑到以下几点：

肤色特征信息的条件；

非人脸；

包含运动信息；

前一帧跟踪区域与当前帧的区域要具有相似性。