[发明专利]一种基于人脸表情识别的游戏交互方法

权利要求书

1.一种基于人脸表情识别的游戏交互方法，其特征在于，包括如下步骤：

(1)利用卷积神经网络通过学习不同种类表情静态图像来提取视觉特征，确定图像序列中面部表情的转换与面部基础表情之间的关系，得到训练模型；

(2)采集待检测玩家视频信息，对视频信息按帧进行图像截取；

(3)对视频图像进行预处理，生成预处理图像；

(4)进行人脸表情分析，和训练模型中的表情特征进行匹配，分析出玩家当前表情；

(5)通过当前人脸表情控制游戏角色。

2.根据权利要求1所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(1)中，所述面部基础表情，包括生气、害怕、厌恶、开心、悲伤、吃惊、蔑视和否定。

3.根据权利要求1所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(2)中，通过摄像头采集待检测玩家视频信息，所述摄像头包括高清摄像头和红外摄像头；所述摄像头与人脸保持50-80cm的距离，呈140°-180°夹角摆放。

4.根据权利要求1所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(3)中，对视频图像进行预处理，生成预处理图像，包括对人脸的器官特征、纹理区域和预定义的其他特征点进行定位和提取，通过特征点定位到玩家人脸区域。

5.根据权利要求1所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(5)中，通过当前人脸表情控制游戏角色，具备包括如下步骤：

(51)通过游戏窗口，根据游戏剧本，在屏幕上显示游戏剧情的文字及图像；

(52)在玩家与NPC交互中，将系统提示表情与玩家做出的表情进行对比，通过表情纠错验证，触发预定的剧情；

(53)在进行支线选择时，系统在游戏窗口上提示玩家做出基础表情中的一种；

(54)当玩家做出基础表情中的一种时，系统通过表情纠错验证后，根据玩家做出的表情，分别触发玩家表情为基础表情对应的游戏剧情支线，并将对应的支线剧情输出到游戏窗口；

(55)在特定剧情中，用不同表情控制游戏中角色各种运动方式，将基础表情控制角色动作。

6.根据权利要求5所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(55)中，所述基础表情包括喜悦、生气、悲伤、吃惊，其中喜悦控制角色向前移动、生气控制人物跳跃、悲伤控制下蹲、吃惊控制滑动，且能根据玩家做出表情的时长控制游戏内角色对应运动方式的时长。

7.根据权利要求1所述的基于人脸表情识别的游戏交互方法，其特征在于：步骤(3)中，所述对视频图像进行预处理，具体包括：

对待测玩家视频图像进行预处理，提取关键帧，然后对采集到的视频关键帧进行归一化，人脸检测与特征提取。

8.根据权利要7所述的基于人脸表情识别的游戏交互方法，其特征在于：所述归一化处理，具体包括：

(A)采用阈值分割直方图均衡化对图像进行光照归一化，并对分割部分的边缘像素通过羽化消除灰阶差和噪声；

(B)通过自适应增强算法级联检测器训练人眼区域，找到人眼睛中心点的坐标作为仿射变换的水平旋转的中心位置，最终得到扭正的人脸图像，实现姿态归一化；

(C)通过对齐不同图像间两眼中心点的坐标实现人脸对齐，达到尺度的归一化；

(D)采用ERT特征点分割算法，有效切割出人脸局部区域，完成对图像的初步预处理工作。

9.根据权利要求7所述的基于人脸表情识别的游戏交互方法，其特征在于：所述特征提取，采用LBP价模式对人脸进行纹理特征的提取，之后检测并标记目标，使用harr特征的分类器的训练结果，建立级联表，将待测图片和级联表一同传递给目标检测算法即可得到一个检测到的人脸集。

10.根据权利要求5所述的基于人脸表情识别的游戏交互方法，其特征在于，所述表情纠错验证包括：

在对系统提示后数秒内按帧截取到的玩家表情图片进行识别时，求出其中占比最多的表情，以这种表情作为识别结果；

然后将识别表情的结果对用户显示，检测此时用户是否有否定表情，若有则表示检测错误，重复步骤(52)、(54)的系统提示，再次检测，并在匹配图片对应的表情时排除之前的错误表情。