[发明专利]用于人机交互的方法、装置、设备和介质

说明书

本公开公开了用于人机交互的方法、装置、设备和介质，涉及人工智能领域，尤其涉及深度学习、语音技术和计算机视觉领域。具体实现方案为：基于接收的语音信号，生成针对语音信号的答复的答复文本；基于语音信号单元与文本单元之间的映射关系，生成与答复文本相对应的答复语音信号，答复文本包括一组文本单元；基于答复文本确定表情和/或动作的标识，其中由虚拟对象呈现表情和/或动作；以及基于答复语音信号、表情和/或动作的标识，生成包括虚拟对象的输出视频，输出视频包括基于答复语音信号确定的、要由虚拟对象呈现的唇形序列。通过该方法，可以显著的增加交互内容的范围，改进人机交互的质量和水平，提高用户体验。

技术领域

本公开涉及人工智能领域，尤其涉及深度学习、语音技术和计算机视觉领域的用于人机交互的方法、装置、设备和介质。

背景技术

随着计算机技术的快速发展，人与机器的交互越来越多。为了提高用户的体验，人机交互技术得到了快速的发展。用户发出语音命令后，计算设备通过语音识别技术来识别用户的语音。在识别完成后，执行与用户的语音命令相对应的操作。这种语音交互方式改进了人机交互的体验。然而，在人机交互过程中还存在着许多需要解决的问题。

发明内容

本公开提供了一种用于人机交互的方法、装置、设备和介质。

根据本公开的第一方面，提供了一种用于人机交互的方法。该方法包括基于接收的语音信号，生成针对语音信号的答复的答复文本。该方法还包括基于语音信号单元与文本单元之间的映射关系，生成与答复文本相对应的答复语音信号，答复文本包括一组文本单元，生成的答复语音信号包括与一组文本单元对应的一组语音信号单元。该方法还包括基于答复文本确定表情和/或动作的标识，其中由虚拟对象呈现表情和/或动作。该方法还包括基于答复语音信号、表情和/或动作的标识，生成包括虚拟对象的输出视频，输出视频包括基于答复语音信号确定的、要由虚拟对象呈现的唇形序列。

根据本公开的第二方面，提供了一种用于人机交互的装置。该装置包括答复文本生成模块，被配置为基于接收的语音信号，生成针对语音信号的答复的答复文本；第一答复语音信号生成模块，被配置为基于语音信号单元与文本单元之间的映射关系，生成与答复文本相对应的答复语音信号，答复文本包括一组文本单元，生成的答复语音信号包括与一组文本单元对应的一组语音单元；标识确定模块，被配置为基于答复文本确定表情和/或动作的标识，其中由虚拟对象呈现表情和/或动作；以及第一输出视频生成模块，被配置为基于答复语音信号、表情和/或动作的标识，生成包括虚拟对象的输出视频，输出视频包括基于答复语音信号确定的、要由虚拟对象呈现的唇形序列。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。

根据本公开的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据本公开的第一方面的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。

图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。

图2示出了根据本公开的一些实施例的用于人机交互的过程200的流程图。

图3示出了根据本公开的一些实施例的用于人机交互的方法300的流程图。

图4示出了根据本公开的一些实施例的用于训练对话模型的方法400的流程图。

图5A和图5B分别示出了根据本公开的一些实施例的对话模型网络结构及掩码表的示例。