[发明专利]基于数字人的人机交互方法、装置、电子设备及存储介质

说明书

本发明实施例涉及一种基于数字人的人机交互方法、装置、电子设备及存储介质，方法包括：获取用户输入的控制指令；对所述控制指令进行识别，得到待播报的目标音频；依据所述目标音频生成数字人视频并播放，以通过数字人对所述目标音频进行播报。由此，可以实基于数字人的人机交互，在基于数字人的人机交互场景下，电子设备在播放音频的同时，还能够以实时视频流形式渲染出虚拟的数字人，且该数字人能够表现出与输出音频相应的表情和肢体动作，使得用户从感观上的体验为数字人在对音频进行播报，从而能够提升用户的人机交互体验。

技术领域

本发明实施例涉及数字人技术领域，尤其涉及一种基于数字人的人机交互方法、装置、电子设备及存储介质。

背景技术

人机交互，也称人机互动，是以一定的交互方式，为完成确定任务的人与系统之间的信息交换过程。系统可以是各种各样的机器，也可以是计算机化的系统和软件。例如，用户可通过输出语音控制指令，控制系统播放相应的短视频(或视频)。

发明内容

本发明实施例提供一种基于数字人的人机交互方法、装置、电子设备及存储介质，以实现基于数字人的人机交互，使得电子设备在播放音频的同时，能够以实时视频流形式渲染出虚拟的数字人，使得用户从感观上的体验为数字人在对音频进行播报，以能够提升用户的人机交互体验。

第一方面，本发明实施例提供一种基于数字人的人机交互方法，包括：

获取用户输入的控制指令；

对所述控制指令进行识别，得到待播报的目标音频；

依据所述目标音频生成数字人视频并播放，以通过数字人对所述目标音频进行播报。

在一个可能的实施方式中，所述获取用户输入的控制指令，包括：

通过音频采集装置获取用户输入的控制指令，所述控制指令为语音控制指令；或者，

通过文本采集装置获取用户输入的控制指令，所述控制指令为文本控制指令。

在一个可能的实施方式中，在所述控制指令为语音控制指令的情况下，所述对所述控制指令进行识别，得到待播报的目标音频，包括：

利用语音识别技术将所述控制指令转换成文本控制指令；

利用自然语音处理技术对转换得到的文本控制指令进行意图识别，得到所述用户的目标意图；

基于所述目标意图确定待播报的目标音频。

在一个可能的实施方式中，在所述控制指令为文本控制指令的情况下，所述对所述控制指令进行识别，得到待播报的目标音频，包括：

利用自然语音处理技术对所述文本控制指令进行意图识别，得到所述用户的目标意图；

基于所述目标意图确定待播报的目标音频。

在一个可能的实施方式中，所述基于所述目标意图确定待播报的目标音频，包括：

从预设的文件库中查找到与所述目标意图相匹配的目标文件；

若所述目标文件为音频文件，则将所述目标文件确定为待播报的目标音频；

若所述目标文件为视频文件，则将所述目标文件中的音频确定为待播放的目标音频；

若所述目标文件为文本文件，则利用从文本到语音TTS技术将所述目标文件转换成音频，将转换得到的音频确定为待播报的目标音频。

在一个可能的实施方式中，所述基于所述目标意图确定待播报的目标音频，包括：

从预设的知识问答库中查找到与所述目标意图相匹配的解答文本；