[发明专利]数字人渲染方法、系统、存储介质和电子设备

说明书

本发明公开数字人渲染方法、系统、存储介质和电子设备，通过获得用户输入的交互信号；将交互信号发送至数字人服务器，以获得数字人服务器针对交互信号所响应的响应音频信号；将响应音频信号发送至数字人神态模块，以获得数字人神态模块针对响应音频信号输出的数字人神态数据，数字人神态数据包括：数字人嘴型数据和数字人动作数据；将数字人神态数据发送至UE3D渲染模块，使得UE3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作嘴型与数字人嘴型数据相匹配，动作与数字人动作数据相匹配。本发明可以渲染数字人在3D交互场景中的嘴型和动作，使得数字人的嘴型和动作均与音频保持一致，提高了用户体验。

技术领域

本发明涉及数字人领域，特别涉及一种数字人渲染方法、系统、存储介质和电子设备。

背景技术

目前，业务服务在线上一般采用数字机器人的方式向客户提供服务，用户多是采用在二维的APP界面中，通过输入文本的方式与数字机器人进行交互，从而办理和咨询业务。

但是，通过输入文本的方式不是很方便，而且数字机器人也是通过文本向用户进行响应，比较单一，不够生动丰富，用户体验较差。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数字人渲染方法、系统、存储介质和电子设备。

第一方面，一种数字人渲染方法，包括：

获得用户输入的交互信号，其中，交互信号为涉及与数字人进行交互的用户音频信号或者用户触控信号；

将交互信号发送至数字人服务器，以获得数字人服务器针对交互信号所响应的响应音频信号；

将响应音频信号发送至数字人神态模块，以获得数字人神态模块针对响应音频信号输出的数字人神态数据，其中，数字人神态数据包括：数字人嘴型数据和数字人动作数据；

将数字人神态数据发送至UE 3D渲染模块，使得UE 3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作，其中，嘴型与数字人嘴型数据相匹配，动作与数字人动作数据相匹配。

结合第一方面，在某些可选的实施方式中，在将响应音频信号发送至数字人神态模块之后，方法还包括：

将响应音频信号发送至UE 3D渲染模块，使得UE 3D渲染模块根据数字人神态数据和响应音频信号，渲染相应数字人在3D交互场景中的嘴型和动作均与响应音频信号保持匹配。

结合第一方面，在某些可选的实施方式中，获得用户输入的交互信号，包括：

获得用户通过前端APP中的3D交互场景发送至UE 3D渲染模块的网络层，并由所述UE 3D渲染模块的业务层确定为涉及与数字人进行交互的交互信号。

结合第一方面，在某些可选的实施方式中，将数字人神态数据发送至UE 3D渲染模块，使得UE 3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作，包括：

将数字人神态数据发送至UE 3D渲染模块的网络层，使得网络层将数字人神态数据发送至UE 3D渲染模块的渲染层，进一步使得渲染层根据数字人神态数据调用UE渲染接口，从而渲染UE 3D渲染模块的资源层中的3D交互场景，以及数字人的嘴型和动作。

结合第一方面，在某些可选的实施方式中，将数字人神态数据发送至UE 3D渲染模块，使得UE 3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作，包括：

将数字人神态数据发送至UE 3D渲染模块，使得UE 3D渲染模块根据数字人神态数据，渲染相应数字人在3D交互场景中的嘴型和动作，以获得数字人在3D交互场景中的音视频流，并由UE 3D渲染模块将音视频流发送至前端APP，进一步使得前端APP通过电子屏幕播放音视频流。