[发明专利]一种基于人脸表情识别的游戏交互方法

说明书

本发明涉及一种基于人脸表情识别的游戏交互方法，包括：(1)利用卷积神经网络通过学习不同种类表情静态图像来提取视觉特征，确定图像序列中面部表情的转换与面部基础表情之间的关系，得到训练模型；(2)采集待检测玩家视频信息，对视频信息按帧进行图像截取；(3)对视频图像进行预处理，生成预处理图像；(4)进行人脸表情分析，和训练模型中的表情特征进行匹配，分析出玩家当前表情；(5)通过当前人脸表情控制游戏角色。本发明仅通过摄像头拍摄玩家人脸，在计算机中进行表情分析和识别，并将结果转化为游戏的控制指令，实现对游戏中角色的控制，也可以直接或辅助玩家与其他角色对话，扩展了传统的游戏交互方式。

技术领域

本发明涉及人脸表情图像分析与识别技术领域，具体涉及一种基于人脸表情识别的游戏交互方法。

背景技术

表情可以说是一门世界语，不分国界、种族以及性别，可以说所有人都有着通用的表情。人脸表情识别在机器人、医疗、驾驶员驾驶疲劳检测和人机交互系统中都有广泛应用，最早在20世纪，Ekman和Friesen通过跨文化研究，定义了6种基础表情：生气、害怕、厌恶、开心、悲伤和吃惊，随后又加入了“蔑视”这一表情。开创性的工作和直观的定义，使该模型在自动人脸表情识别(automatic facial expression analysis,AFEA)中依然很流行。根据特征表示，人脸表情识别系统的任务的处理对象可以分为图片和视频两类。得益于深度学习的发展和更具有挑战性的数据集FER2013的出现，越来越多的研究者将深度学习技术运用到人脸表情识别中。

近年来，随着计算机技术的革新，以计算机游戏为代表的数字娱乐产业飞速发展。作为一类特殊的应用软件，计算机游戏通过向游戏用户提供一系列的菜单选项和操作指令，实现用户与游戏之间的交互操作。用于游戏的传统人机交互方式有：鼠标键盘、游戏杆及专用游戏设备等。但随着游戏种类和内容的发展，这些模式已经不能满足更强的人机交互需求，将人脸表情识别技术应用到游戏中，成为了一种必然的趋势。

发明内容

本发明的目的在于提供一种基于人脸表情识别的游戏交互方法，采用玩家脸部的表情控制游戏角色，实现对游戏中角色的控制。

为实现上述目的，本发明采用了以下技术方案：

一种基于人脸表情识别的游戏交互方法，包括如下步骤：

(1)利用卷积神经网络通过学习不同种类表情静态图像来提取视觉特征，确定图像序列中面部表情的转换与面部基础表情之间的关系，得到训练模型，所述面部基础表情，包括生气、害怕、厌恶、开心、悲伤、吃惊、蔑视和否定；

(2)采集待检测玩家视频信息，对视频信息按帧进行图像截取，通过摄像头采集待检测玩家视频信息，所述摄像头包括高清摄像头和红外摄像头，摄像头与人脸保持50-80cm的距离，呈140°-180°夹角摆放；

(3)对视频图像进行预处理，生成预处理图像，包括对人脸的器官特征、纹理区域和预定义的其他特征点进行定位和提取，通过特征点定位到玩家人脸区域；所述对视频图像进行预处理，具体包括：对待测玩家视频图像进行预处理，提取关键帧，然后对采集到的视频关键帧进行归一化，人脸检测与特征提取；

(4)进行人脸表情分析，和训练模型中的表情特征进行匹配，分析出玩家当前表情；

(5)通过当前人脸表情控制游戏角色；

(51)通过游戏窗口，根据游戏剧本，在屏幕上显示游戏剧情的文字及图像；

(52)在玩家与NPC交互中，将系统提示表情与玩家做出的表情进行对比，通过表情纠错验证，触发预定的剧情；

(53)在进行支线选择时，系统在游戏窗口上提示玩家做出基础表情中的一种；