[发明专利]一种基于指端跟踪的快速人机交互方法

摘要

本发明公开了一种基于指端跟踪的快速人机交互方法。该方法先对图像预处理，采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；然后进行手部图像提取，对所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从所得的校正图像中分割出来；最后进行指尖定位，应用直方图进行指尖的粗略定位，以手指尖的粗略位置为中心，构造一个搜索窗口，通过模板匹配进行指尖的精确定位。本发明有效提高场景图像感知效率，实现较大范围的手指检测和定位；把双眼的图像距离判断作为能够进行指端定位的依据，无需环境的任何先验知识，距离鲁棒性突出。

主权项

1、一种基于指端跟踪的快速人机交互方法，其特征在于包括以下步骤：(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，包括如下步骤：a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来，对肤色滤波后得到的二值图像，其中肤色区域为1，其他区域为0，再进行膨胀运算，减少肤色滤波导致的空洞；b、采用图像帧间差分的算法进行运动滤波处理，将运动区域从静态背景中分离出来；c、对步骤a膨胀运算后的二值图像进行色彩分割，得到的图像为包含脸部和手部肤色区域的二值图像，提取手部的完整图像；d、在步骤a、b、c处理的基础上，进行图像融合，将手部的完整图像与运动滤波得到的图像进行“与”运算，并对结果进行膨胀运算，得到主要包含手部区域的二值图像；对主要包含手部区域的二值图像，如果判断该图像为新使用者手部区域的二值图像，按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，具体步骤在图像的对应区域中进行，并在图像中进一步消除非手部的图像，得到仅包含手部的二值图像；若双眼图像距离不符合图像中能清楚地分辨出来的要求，放弃控制权，不再进行指尖定位，转而搜索新的使用者；(3)指尖定位：对步骤(2)中得到的仅含手部的图像进行指尖定位，首先，应用直方图进行指尖的粗略定位，规定使用者的指尖向上；对(2)中得到的仅包含手部的二值化图像，通过边缘检测进行手部轮廓提取，并把轮廓点进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指尖的粗略位置，以此位置为中心，构造一个搜索窗口；然后，通过模板匹配进行指尖的精确定位。