[发明专利]基于UE4的真实感虚拟人多模态交互实现方法

说明书

本发明公开了基于UE4的真实感虚拟人多模态交互实现方法，其中方法包括：资源制作、资源组装和功能制作。系统包括资源制作模块：用于进行角色模型制作、面部表情BlendShape制作、骨骼蒙皮绑定、动作制作、贴图制作以及材质调整；资源组装模块：用于进行场景搭建、灯光设计以及UI界面搭建；功能制作模块：用于识别用户语音输入，根据输入进行智能回答，并能播放语音、口唇动画、表情动画、肢体动作，体现出交互的多模态性。此模块具体包括语音识别模块、智能问答模块、中文自然语言处理模块、语音合成模块、口唇动画模块、表情动画模块和肢体动作模块。该系统具备类似真人的亲和力，能够更容易被用户接受；更符合人类的交互习惯，能让应用有更大的普及范围；能够使应用真正具备“智能”，使应用的响应更合乎人类逻辑。

技术领域

本发明涉及计算机软件领域，尤其是基于UE4的真实感虚拟人多模态交互实现方法及系统。

背景技术

当前数字虚拟人技术研究非常火热，作为下一代智能人机交互方式，数字虚拟人有着非常广泛的商业落地应用场景，比如虚拟偶像、虚拟演员、虚拟主播等将会在游戏、影视、金融服务、教育、医疗等产业进行落地。

但是大多数数字虚拟人以卡通人物进行呈现，而且只有简单的表情或者口唇表现，无法在应用在多数领域。现有游戏引擎，尤其以UE4为代表的次世代游戏引擎，在人物、场景真实感渲染表现上有着人眼难以分辨真假的渲染效果，但是缺乏语音输入、没有专业领域或者通用的问答系统，因此无法给出符合人类行为习惯的回答响应。

发明内容

为了解决以上技术问题，本发明提出基于UE4的真实感数字虚拟人多模态交互实现方法及系统，实现真实感的数字虚拟人，具备高准确率的语音识别能力、具备专业领域的语音回答，同时有自然逼真的口唇表情动画、肢体动作等表现，是真正的下一代智能交互方式的体现，按照本系统的实现方法可以在多数产业领域进行各种数字虚拟人的深度应用定制，有着很大的商业应用前景。

为了实现上述目的，本发明采用的方案是：

基于UE4的真实感数字虚拟人多模态交互实现方法，包含以下步骤：

S1，资源制作，包括：

模型制作：按次世代标准进行角色模型制作，着重表现嘴部、脸部、眼部细节，带法线贴图；

面部表情BlendShape制作：在Maya中，按脸部动作编码系统(FACS) 制作46个表情单元BlendShape；

骨骼蒙皮绑定：在Maya中，按照人物骨骼进行模型绑定，并刷好顶点权重；

动作制作：在Maya中，制作基本口型动作序列、非语言行为动作序列；

贴图制作：在Substance中制作4K高清漫反射贴图、高光贴图、粗糙度贴图；

材质调整：在UE4中，使用次表面轮廓着色模型调整皮肤材质参数，使用毛发着色模型调整毛发材质参数，使用眼睛着色模型调整眼睛材质参数，并将制作的贴图设置到各个材质参数中去，最终达到逼真的渲染效果；

S2，资源组装，包括：

场景搭建：在UE4中，创建场景Level，导入角色模型并调整好相机位置；

灯光设计：在UE4中，仿照摄影棚的灯光布置，利用多个点光源搭建面光源并设置灯光的颜色位置等参数；

UI界面搭建：在UE4中，利用UMG搭建回答文本，麦克风状态指示等UI 界面；

S3，功能制作，包括：

语音识别模块制作：开启独立线程监听麦克风音频数据，使用Websocket 协议将音频数据及相关接口参数不断发往语音识别后台服务程序，并解析服务返回的数据得到识别文本；