[发明专利]基于UE4的真实感虚拟人多模态交互实现方法

权利要求书

1.基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，包括以下步骤：

S1，资源制作，包括：

模型制作：按次世代标准进行角色模型制作，着重表现嘴部、脸部、眼部细节，带法线贴图；

面部表情BlendShape制作：在Maya中，按脸部动作编码系统(FACS)制作46个表情单元BlendShape；

骨骼蒙皮绑定：在Maya中，按照人物骨骼进行模型绑定，并刷好顶点权重；

动作制作：在Maya中，制作基本口型动作序列、非语言行为动作序列；

贴图制作：在Substance中制作4K高清漫反射贴图、高光贴图、粗糙度贴图；

材质调整：在UE4中，使用次表面轮廓着色模型调整皮肤材质参数，使用毛发着色模型调整毛发材质参数，使用眼睛着色模型调整眼睛材质参数，并将制作的贴图设置到各个材质参数中去，最终达到逼真的渲染效果；

S2，资源组装，包括：

场景搭建：在UE4中，创建场景Level，导入角色模型并调整好相机位置；

灯光设计：在UE4中，仿照摄影棚的灯光布置，利用多个点光源搭建面光源并设置灯光的颜色位置等参数；

UI界面搭建：在UE4中，利用UMG搭建回答文本，麦克风状态指示等UI界面；

S3，功能制作，包括：

语音识别模块制作：开启独立线程监听麦克风音频数据，使用Websocket协议将音频数据及相关接口参数不断发往语音识别后台服务程序，并解析服务返回的数据得到识别文本；

智能问答模块制作：将识别得到的文本通过Http Post请求发往后台问答系统程序，并解析服务返回的回答文本；

中文自然语言处理模块制作：经解析得到的回答文本通过Http Post请求发往中文自然语言处理服务程序，并解析得到中文分词及情感结果；

语音合成模块制作：将解析得到的回答文本通过Http Post请求发往后台语音合成服务程序，并解析得到返回的语音音频数据及中文音素时间序列数据，音频数据直接调用系统播放音频接口播放出声音；

口唇动画模块制作：将解析得到的中文音素时间序列数据及中文分词，调用动画引擎中口唇控制器提供的接口，经过对对应口型动作序列进行插值运算播放出口唇动画；

表情动画模块制作：将中文自然语言处理模块计算的情感结果，调用动画引擎中面部控制器提供的接口，经过对对应表情单元的BlendShape进行插值运算播放出表情动画；

肢体动作模块制作：将解析得到的中文分词，调用动画引擎中NVBG模块提供的接口，计算得到头部动作Bml、眼球动作Bml、手部动作Bml，由Bml解析模块触发对应的头部控制器、眼球控制器、手部控制器对对应的动作序列进行插值运算播放出头部动作、眼球动作、手部动作。

2.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S1所述的模型制作中，模型需要按照四边面制作，且布线需要符合人体解剖学。

3.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S2所述的场景搭建中，使用UE4的Matinee编辑器制作相机动画，在要表现脸部表情时播放相机动画把相机移动到可以合适观察脸部的位置，在表现肢体动作时播放相机动画把相机移动到可以合适观察肢体动作的位置。

4.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S2所述的灯光设计中，在保证稳定的30帧左右的帧率前提下，使用UE4蓝图编写代码将多个点光源组织成面光源，调整光源方向、位置来照射人物角色。

5.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的中文自然语言处理模块制作中，每个句子对应一种情绪状态，符合人类情绪表现规律。

6.根据权利要求1所述的基于UE4的真实感数字虚拟人多模态交互实现方法，其特征在于，在步骤S3所述的口唇动画模块制作中，动画引擎采用了缓存池技术来事先在内存中存储要用到的口型动作序列数据。