[发明专利]一种基于人脸表情识别的鼠标控制方法

权利要求书

1.一种基于人脸表情识别的鼠标控制方法，其特征在于包括以下步骤：

1）获取模板图像：通过摄像头采集四幅具有不同特征的人脸图像，然后对采集到的每幅人脸图像进行灰度转换和镜像转换处理，得到处理后的人脸图像，再在每幅处理后的人脸图像中设定一个具有显著特征的感兴趣区域，将每幅处理后的人脸图像中的感兴趣区域作为一幅模板图像，并设定第一幅模板图像用于代表鼠标左键单击，第二幅模板图像用于代表鼠标右键单击，第三幅模板图像用于代表鼠标左键双击，第四幅模板图像用于代表鼠标移动；

2）实时获取待匹配的人脸图像：通过摄像头实时捕获人脸图像，对实时捕获到的人脸图像进行灰度转换和镜像转换处理，得到待匹配的人脸图像；

3）获取待匹配的人脸图像与每幅模板图像之间的相似度：利用归一化互相关方法对待匹配的人脸图像与每幅模板图像进行互相关处理，得到每幅模板图像对应的互相关矩阵，将第一幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第一幅模板图像之间的第一相似度，将第二幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第二幅模板图像之间的第二相似度，将第三幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第三幅模板图像之间的第三相似度，将第四幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第四幅模板图像之间的第四相似度；

4）判定将对鼠标执行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根据最大相似度和第四相似度，判定将对鼠标执行的动作指令，具体过程为：如果最大相似度大于或等于预先设定的点击阈值，且第四相似度小于预先设定的移动阈值，则判定将对鼠标执行点击操作，然后按照最大相似度对应的模板图像所代表的鼠标动作来执行具体的点击动作，即当最大相似度对应第一幅模板图像时执行鼠标左键单击的动作，当最大相似度对应第二幅模板图像时执行鼠标右键单击的动作，当最大相似度对应第三幅模板图像时执行鼠标左键双击的动作；如果第四相似度大于或等于预先设定的移动阈值，且最大相似度小于预先设定的点击阈值，则判定将对鼠标执行移动操作；如果最大相似度大于或等于预先设定的点击阈值，且第四相似度大于或等于预先设定的移动阈值，则判定将对鼠标执行持续在移动的同时保持左键持续按压状态的拖拽动作；

5）控制鼠标执行操作：根据第一相似度、第二相似度、第三相似度和第四相似度在各自所对应的互相关矩阵中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所对应的到互相关矩阵的中心位置的横向矢量位移和纵向矢量位移；当判定结果为将对鼠标执行移动操作时，利用正割函数将第四相似度所对应的横向矢量位移和纵向矢量位移的数值限定在（-1,1）之间，然后再分别乘以鼠标的灵敏度后传入鼠标控制API函数中，执行相应的鼠标移动动作；当判定结果为将对鼠标执行点击操作时，将第一相似度、第二相似度、第三相似度各自所对应的互相关矩阵的中心位置的横向矢量位移和纵向矢量位移均设置为0，然后根据左键单击、右键单击及左键双击的指令分别设定对应的鼠标控制API函数中的参数。

2.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤1）中以人脸图像中嘴巴张开的感兴趣区域为代表鼠标左键单击的第一幅模板图像，以人脸图像中右眼闭上的感兴趣区域为代表鼠标右键单击的第二幅模板图像，以人脸图像中左眼闭上的感兴趣区域为代表鼠标左键双击的第三幅模板图像，以人脸图像中鼻子为主的感兴趣区域为代表鼠标移动的第四幅模板图像。

3.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤4）中预先设定的点击阈值为0.8。

4.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤4）中预先设定的移动阈值为0.6。