[发明专利]一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统

说明书

技术领域

本发明涉及一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统，属于机器视觉和人机交互领域。

背景技术

随着计算机技术的高速发展，特别是图形用户界面诞生以来，我们与计算机的交互变得更加容易、快捷。网络购物、信息查询、辅助办公、多媒体娱乐等功能为我们的生活和工作提供了方便，带来了乐趣。然而，目前存在的交互方式大都需要人手操作，从而对上肢残障人士或上肢不便者造成现代信息共享障碍，仅仅通过手操作鼠标和键盘来实现与电脑的交互，将众多想要享受其便利的上肢残疾的人拒之门外。

目前，国内通常采用的鼠标指针控制系统是以硬件为基础的鼠标指针控制方法，以硬件为基础的方法需要用户带上特制的头盔、特殊的隐形眼镜、或者使用头部固定支架、置于用户头顶的摄像机等，对用户的干扰较大。 

因此，有必要在上述鼠标指针控制系统的基础上提出一种准确、实时、且有较好用户体验的鼠标指针控制系统，从而帮助残障、专业技术人员在无法使用双手的情况下实现与计算机等设备的人机交互。

发明内容

本发明提供了一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统，以用于解决现有鼠标指针控制方法主要依靠双手，人机交互性较差，使得很多残疾人无法使用鼠标的问题。

本发明的技术方案是：一种基于人脸特征检测的非侵入式鼠标指针控制方法，包括：

图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；

图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；

特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；

特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；

鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。

所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据并进行预处理；

Step2、使用Viola-Jones算法对经过预处理的第n帧图像数据进行鼻尖特征点的检测：

如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m个鼻尖特征点在整个图像中的位置（x,y）；接着执行步骤Step3；

如果没有检测到鼻尖特征点，则返回步骤Step1；

Step3、通过采集第n+1帧图像数据并使用Kalman滤波算法对鼻尖特征点在第n+1帧中可能出现的位置进行跟踪；

Step4、获取步骤Step3中通过Kalman滤波算法跟踪得到的窗口图像，并利用Viola-Jones算法在跟踪得到的窗口图像中进行鼻尖特征点的检测：

如果检测到鼻尖特征点，则对鼻尖特征点的位置进行定位并记录第m+1个鼻尖特征点在整个图像中的位置（x+dx,y+dy）；接着执行步骤Step5；

如果没有检测到鼻尖特征点，则返回步骤Step3；

Step5、根据检测到的第m个鼻尖特征点的位置（x,y）和第m+1个鼻尖特征点的位置（x+dx,y+dy）控制鼠标指针依据位移矢量进行移动；

其中，（dx,dy）为前后两帧中鼻尖特征点的位移量。

所述预处理包括两个步骤：

步骤一，将采集的彩色图像转换为灰度图像；

步骤二，将灰度图像的直方图均衡化。

一种基于人脸特征检测的非侵入式鼠标指针控制系统，包括：

图像采集模块，用于通过摄像头采集图像数据为下一步图像的处理提供数据；

图像预处理模块，用于对摄像头采集到的图像数据进行灰度直方图均衡化的预处理；

特征检测模块，用于对经过预处理的图像数据进行鼻尖特征点的检测；

特征跟踪模块，用于对鼻尖特征点在下一帧中可能出现的位置进行跟踪；

鼠标指针控制模块，用于根据前后两帧中鼻尖特征点的位移量控制鼠标指针的移动。

本发明的工作原理是：

所述特征点跟踪模块Kalman滤波算法的使用如下：