[发明专利]一种基于人脸表情识别的鼠标控制方法

说明书

技术领域

本发明涉及一种鼠标控制方法，尤其是涉及一种基于人脸表情识别的鼠标控制方法。

背景技术

目前，人们在使用计算机时，一般通过手动控制鼠标设备，而对于一些特殊群体如无手的残疾人士来说，这种传统的使用鼠标的方式会带给他们很多的不便。为了使人机交互更加智能和便捷，更为方便特殊群体使用电脑，人们研究开发了多种无需手动控制鼠标的方法，比如有依赖于人的手势识别的控制方法，但是这种方法不能够方便无手残疾人士使用，其他的一些方法有采用舌头动作的方式，但是实时性不高，而且对于控制人的舌头来控制鼠标这种方式，检测精度不是很高，很容易受干扰，具有很大的局限性。

发明内容

本发明所要解决的技术问题是提供一种实时度高、使用灵活度强且成本较低的基于人脸表情识别的鼠标控制方法。

本发明解决上述技术问题所采用的技术方案为：一种基于人脸表情识别的鼠标控制方法，包括以下步骤：

1）获取模板图像：通过摄像头采集四幅具有不同特征的人脸图像，然后对采集到的每幅人脸图像进行灰度转换和镜像转换处理，得到处理后的人脸图像，再在每幅处理后的人脸图像中设定一个具有显著特征的感兴趣区域，将每幅处理后的人脸图像中的感兴趣区域作为一幅模板图像，并设定第一幅模板图像用于代表鼠标左键单击，第二幅模板图像用于代表鼠标右键单击，第三幅模板图像用于代表鼠标左键双击，第四幅模板图像用于代表鼠标移动；

2）实时获取待匹配的人脸图像：通过摄像头实时捕获人脸图像，对实时捕获到的人脸图像进行灰度转换和镜像转换处理，得到待匹配的人脸图像；

3）获取待匹配的人脸图像与每幅模板图像之间的相似度：利用归一化互相关方法对待匹配的人脸图像与每幅模板图像进行互相关处理，得到每幅模板图像对应的互相关矩阵，将第一幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第一幅模板图像之间的第一相似度，将第二幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第二幅模板图像之间的第二相似度，将第三幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第三幅模板图像之间的第三相似度，将第四幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第四幅模板图像之间的第四相似度；

4）判定将对鼠标执行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根据最大相似度和第四相似度，判定将对鼠标执行的动作指令，具体过程为：如果最大相似度大于或等于预先设定的点击阈值，且第四相似度小于预先设定的移动阈值，则判定将对鼠标执行点击操作，然后按照最大相似度对应的模板图像所代表的鼠标动作来执行具体的点击动作，即当最大相似度对应第一幅模板图像时执行鼠标左键单击的动作，当最大相似度对应第二幅模板图像时执行鼠标右键单击的动作，当最大相似度对应第三幅模板图像时执行鼠标左键双击的动作；如果第四相似度大于或等于预先设定的移动阈值，且最大相似度小于预先设定的点击阈值，则判定将对鼠标执行移动操作；如果最大相似度大于或等于预先设定的点击阈值，且第四相似度大于或等于预先设定的移动阈值，则判定将对鼠标执行持续在移动的同时保持左键持续按压状态的拖拽动作；

5）控制鼠标执行操作：根据第一相似度、第二相似度、第三相似度和第四相似度在各自所对应的互相关矩阵中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所对应的到互相关矩阵的中心位置的横向矢量位移和纵向矢量位移；当判定结果为将对鼠标执行移动操作时，利用正割函数将第四相似度所对应的横向矢量位移和纵向矢量位移的数值限定在(-1,1)之间，然后再分别乘以鼠标的灵敏度后传入鼠标控制API函数中，执行相应的鼠标移动动作；当判定结果为将对鼠标执行点击操作时，将第一相似度、第二相似度、第三相似度各自所对应的互相关矩阵的中心位置的横向矢量位移和纵向矢量位移均设置为0，然后根据左键单击、右键单击及左键双击的指令分别设定对应的鼠标控制API函数中的参数。

所述的步骤1）中以人脸图像中嘴巴张开的感兴趣区域为代表鼠标左键单击的第一幅模板图像，以人脸图像中右眼闭上的感兴趣区域为代表鼠标右键单击的第二幅模板图像，以人脸图像中左眼闭上的感兴趣区域为代表鼠标左键双击的第三幅模板图像，以人脸图像中鼻子为主的感兴趣区域为代表鼠标移动的第四幅模板图像。

所述的步骤4）中预先设定的点击阈值为0.8。

所述的步骤4）中预先设定的移动阈值为0.6。