[发明专利]基于H5的智能问答方法、装置、电子设备及存储介质

说明书

本申请提供一种基于H5的智能问答方法、装置、电子设备及存储介质，接收用户基于H5控件发送的控件触发消息，控件触发消息至少包括目标问题；获取目标问题对应的回复音频数据；对回复音频数据进行处理，得到相应的嘴型数据；将回复音频数据和嘴型数据发送给客户端UE，以使客户端UE基于嘴型数据和回复音频数据对数字虚拟人的嘴型动作进行渲染得到相应的视频流，并将视频流发送给H5控件进行展示。本申请，可以解决现有技术中数字虚拟人说话时的嘴型动作与真人说话时的嘴型动作存在一定误差，从而导致用户体验感差的问题。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种基于H5的智能问答方法、装置、电子设备及存储介质。

背景技术

数字虚拟人(Digital Human)是通过虚拟现实技术，结合人机交互，高精度三维人像模拟、AI以及动作捕捉、面部表情捕捉等技术制作的拟真三维人。其中，说话时的嘴型动作的制作是数字虚拟人表现的重点和难点。

在现有技术中，往往都是通过面部表情捕捉设备，将真人说话时的嘴型动作捕捉下来后通过3D制作工具将这些嘴型动作应用到数字虚拟人上，以便让数字虚拟人说话时嘴型动作看起来像真人一样。但是这种方式，数字虚拟人说话时的嘴型动作是事先制作好，导致数字虚拟人说话时的嘴型动作与真人说话时的嘴型动作存在一定误差，从而导致用户体验感差。

发明内容

有鉴于此，本申请提供一种基于H5的智能问答方法、装置、电子设备及存储介质，以解决现有技术中数字虚拟人说话时的嘴型动作与真人说话时的嘴型动作存在一定误差，从而导致用户体验感差的问题。

本申请第一方面公开一种基于H5的智能问答方法，所述方法包括：

接收用户基于H5控件发送的控件触发消息，所述控件触发消息至少包括目标问题；

获取所述目标问题对应的回复音频数据；

对所述回复音频数据进行处理，得到相应的嘴型数据；

将所述回复音频数据和所述嘴型数据发送给客户端UE，以使客户端UE基于所述嘴型数据和回复音频数据对数字虚拟人的嘴型动作进行渲染得到相应的视频流，并将所述视频流发送给所述H5控件进行展示。

可选的，所述获取所述目标问题对应的回复音频数据，包括：

判断所述目标问题是否为文本；

若所述目标问题为文本，将所述目标问题输入预训练的文本处理模型，使所述预训练的文本处理模型对所述目标问题进行处理，输出所述目标问题对应的回复文本；其中，所述预训练的文本处理模型是利用历史问题样本对待训练的文本处理模型进行训练得到；

若所述目标问题不为文本，将所述目标问题转换成对应的文本，并将所述目标问题对应的文本输入预训练的文本处理模型，使所述预训练的文本处理模型对所述目标问题对应的文本进行处理，输出所述目标问题对应的回复文本；

将所述目标问题对应的回复文本转换成所述目标问题对应的回复音频数据。

可选的，所述利用历史问题对待训练的文本处理模型进行训练得到预训练的待训练的文本处理模型的过程，包括：

获取历史问题样本；

将所述历史问题样本输入待训练的文本处理模型中，以便所述待训练的文本处理模型对所述历史问题样本进行处理，以得到的回复音频数据趋近于目标回复音频数据为训练目标，对所述待训练的文本处理模型进行训练，直至所述待训练的文本处理模型达到收敛，得到文本处理模型。

可选的，所述对所述目标问题对应的回复音频数据进行处理，得到相应的嘴型数据，包括：

将所述目标问题对应的回复音频数据输入预训练的嘴型处理模型，使所述预训练的文本处理模型根据所述目标问题对应的回复音频数据，输出相应的嘴型数据；