[发明专利]一种基于指端跟踪的快速人机交互方法

说明书

技术领域

本发明涉及基于指端跟踪的的人机交互方法，属于计算机视觉和视频跟踪领域，适用于虚拟现实系统中的人机交互环节。

背景技术

人机交互技术是虚拟现实系统的关键技术之一，它实现了人与计算机、现实世界与虚拟世界的交互。手势是一种自然而直观的人际交流方式。基于视觉的人手跟踪及手势识别是实现新一代人机交互必不可少的一项关键技术。

在人机交互中，手部的跟踪主要有数据手套和视觉识别等方法。

数据手套，即人可以戴上一个类似于手套的传感器，计算机通过它可以获取手的位置和手指的伸展状况等丰富信息。如1993年.BThmaas等人做的自由手控制目标的系统是凭借数据手套作为输入的媒介，但这需要实验者带上一个专用设备。这不便于使用和推广。随着计算机硬件的发展，计算机视觉已逐渐应用于手部定位与跟踪。基于视觉的手部跟踪方法，首先要考虑的就是环境因素，特别是背景。为了减少背景的影响，往往采取限制背景，如背景全为黑色或白色等。还有就是采用手指标记的方法，但对使用者造成不便，因此手部跟踪的注意力便转移到自然手的跟踪。

基于视觉的手部跟踪的方法已经越来越广泛，特别在手写识别的领域。由于面向个人的智能手机等智能设备的迅速发展，目前大部分的日常应用所采取的手部跟踪都是局限在小范围，即采集的视频中都不包含除了手部之外的其他部分，这限制了使用者及其手部的活动范围，只能在摄像系统附近操作计算机，缺乏灵活性，也不太适合边操作边交流的多人场合。

发明内容

本发明的目的在于，提供一种基于计算机视觉的可大范围活动的使用手指控制的人机交互方法。

本发明的目的通过如下技术方案实现：

一种基于指端跟踪的快速人机交互方法，包括以下步骤：

(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；

(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，包括如下步骤：

a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来，对肤色滤波后得到的二值图像，其中肤色区域为1，其他区域为0，再进行膨胀运算，减少肤色滤波导致的空洞；

b、采用图像帧间差分的算法进行运动滤波处理，将运动区域从静态背景中分离出来；

c、对步骤a膨胀运算后的二值图像进行色彩分割，得到的图像为包含脸部和手部肤色区域的二值图像，提取手部的完整图像；

d、在步骤a、b、c处理的基础上，进行图像融合，将手部的完整图像与运动滤波得到的图像进行“与”运算，并对结果进行膨胀运算，得到主要包含手部区域的二值图像；对主要包含手部区域的二值图像，如果判断该图像为新使用者手部区域的二值图像，按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，具体步骤在图像的对应区域中进行，并在图像中进一步消除非手部的图像，得到仅包含手部的二值图像；若双眼图像距离不符合图像中能清楚地分辨出来的要求，放弃控制权，不再进行指尖定位，转而搜索新的使用者；

(3)指尖定位：对步骤(2)中得到的仅含手部的图像进行指尖定位，首先，应用直方图进行指尖的粗略定位，规定使用者的指尖向上；对(2)中得到的仅包含手部的二值化图像，通过边缘检测进行手部轮廓提取，并把轮廓点进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指尖的粗略位置，以此位置为中心，构造一个搜索窗口；然后，通过模板匹配进行指尖的精确定位。

所述的对所得图像进行图像几何畸变纠正是指采用三次多项式变形技术和双线性插值法消除从广角摄像头采集到的图像的几何畸变失真。

所述的三次多项式变形技术和双线性插值法，是通过选定一个自定义的基准图像及其畸变图像，联立方程组，并通过最小二乘法求解，确定理想图像与畸变图像的具体变换关系。

4所述的“与”运算是指色彩分割后得到的二值图像与运动滤波得到的二值图像之间的，逐点进行的二进制逻辑与运算。

所述的膨胀运算是指数学形态学中用已定义的模板子图像对原图像进行的能实现平滑或减少图像空洞运算。