[发明专利]一种基于视线跟踪技术的鼠标指针控制方法及系统

摘要

本发明涉及一种基于视线跟踪技术的鼠标指针控制方法及系统，属于机器视觉和人机交互技术领域。包括图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算其角点中心位置；特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠标指针的移动。本发明使双手有残疾的人员能够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；实现了鼠标指针控制系统的精确性、实时性。

主权项

一种基于视线跟踪技术的鼠标指针控制方法，其特征在于：所述方法的具体步骤如下：Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；Step2、使用Viola‑Jones算法对采集到的第n帧图像数据进行人眼区域的检测：采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区域，则记录该人眼区域为Wn；接着执行步骤Step3；如果没有检测到人眼区域，则返回步骤Step1；Step3、在检测到的人眼区域Wn内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pn1、pn2、pn3…pnn；并由第n帧所有角点位置计算得到其中心位置接着执行步骤Step4；Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域Wn+1和Harris角点位置pn+11、pn+12、pn+13…pn+1n；Step5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；Step6、若根据步骤Step5匹配成功的角点分别为pn1、pn2、pn3…pnn，pn+11、pn+12、pn+13…pn+1n，则计算其移动平均位移量并根据第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。