[发明专利]一种基于指端跟踪的快速人机交互方法

权利要求书

1.一种基于指端跟踪的快速人机交互方法，其特征在于包括以下步骤：

(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；

(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，包括如下步骤：

a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来，对肤色滤波后得到的二值图像，其中肤色区域为1，其他区域为0，再进行膨胀运算，减少肤色滤波导致的空洞；

b、采用图像帧间差分的算法进行运动滤波处理，将运动区域从静态背景中分离出来；

c、提取手部的完整图像：对步骤a膨胀运算后的二值图像进行色彩分割，得到的图像为包含脸部和手部肤色区域的二值图像；

d、在步骤a、b、c处理的基础上，进行图像融合，将手部的完整图像与运动滤波得到的图像进行“与”运算，并对结果进行膨胀运算，得到主要包含手部区域的二值图像；对包含脸部和手部肤色区域的二值图像，如果判断该图像为新使用者手部区域的二值图像，按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，具体步骤在主要包含手部区域的二值图像的对应区域中进行，并在主要包含手部区域的二值图像中进一步消除非手部的图像，得到仅包含手部的二值图像；若双眼图像距离不符合图像中能清楚地分辨出来的要求，放弃控制权，不再进行指尖定位，转而搜索新的使用者；

(3)指尖定位：对步骤(2)中得到的仅包含手部的二值图像进行指尖定位，首先，应用直方图进行指尖的粗略定位，规定使用者的指尖向上；对(2)中得到的仅包含手部的二值化图像，通过边缘检测进行手部轮廓提取，并把轮廓点进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指尖的粗略位置，以此位置为中心，构造一个搜索窗口；然后，通过模板匹配进行指尖的精确定位。

2.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的对所得图像进行图像几何畸变纠正是指采用三次多项式变形技术和双线性插值法消除从广角摄像头采集到的图像的几何畸变失真。

3.根据权利要求2所述的基于指端跟踪的快速人机交互方法，其特征在于所述的三次多项式变形技术和双线性插值法，是通过选定一个自定义的基准图像及其畸变图像，联立方程组，并通过最小二乘法求解，确定理想图像与畸变图像的具体变换关系。

4.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的“与”运算是指色彩分割后得到的手部完整图像与运动滤波得到的二值图像之间的，逐点进行的二进制逻辑与运算。

5.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的膨胀运算是指数学形态学中用已定义的模板子图像对原图像进行的能实现平滑或减少图像空洞运算。

6.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤(3)的搜索窗口是指以指尖粗定位位置为中心的，且其边长由统计设定的、大小为粗定位位置与实际精确位置的最大误差的两倍的矩形窗口。

7.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤(3)的模板匹配是指用已定义的若干个手指指端模板去匹配得到的指端图像，找到最佳匹配模板与指端图像的最佳匹配位置，该匹配位置即为指尖的精确位置。

8.根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤d符合双眼图像距离条件是指该图像距离大到保证使用者是符合正对摄像头的使用规则，同时也保证了手指在图像中是能够分辨出来的。