[发明专利]生成虚拟人物视频的方法、装置、设备和计算机存储介质

说明书

本申请公开了一种生成虚拟人物视频的方法、装置、设备和计算机存储介质，涉及人工智能技术，特别涉及计算机视觉和深度学习技术。具体实现方案为：将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。本申请能够降低虚拟人物视频播放对终端的性能影响，提高实时性。

技术领域

本申请涉及人工智能技术，特别涉及计算机视觉和深度学习技术。

背景技术

虚拟人物指的是存在于创作型视频中虚构的人物。随着计算机技术的快速发展，出现了使用虚拟人物播报新闻、天气预报、教学、比赛解说等应用。其中一种典型的应用是，用户与终端进行语音交互的过程中，向用户响应语音的同时在终端上呈现虚拟人物视频，从而给用户以与虚拟人物进行交流的感受。然而，在目前虚拟人物视频的生成过程中，一般是将一条完整的语音提供给服务器端，由服务器端利用该一条完整的语音生成虚拟人物视频，下发给终端进行播放。但由于一条完整语音对应的视频文件较大，对其进行解码播放会对终端的性能产生较大影响，且很难保证实时性。

发明内容

有鉴于此，本申请提供了一种生成虚拟人物视频的方法、装置、设备和计算机存储介质，以便于降低对性能的影响，提高实时性。

第一方面，本申请提供了一种生成虚拟人物视频的方法，包括：

将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。

第二方面，本申请提供了一种生成虚拟人物视频的装置，包括：

语音切分模块，用于将语音按照预设时长进行切分，得到n个语音段，所述n为正整数；

图像预测模块，用于按照时间顺序，分别对各语音段进行静音识别和虚拟人物预测得到各语音段对应的图像帧序列，并将各语音段以及语音段对应的图像帧序列发送至终端的队列，以便所述终端逐一从所述队列中获取语音段及语音段对应的图像帧序列进行合成，并播放合成的虚拟人物视频。

第三方面，本申请提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

第四方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。

由以上技术方案可以看出，本申请通过将语音进行切分，分别针对各语音段生成图像帧序列并发送至终端的队列，使得终端能够逐一从队列中获取语音段及语音段对应的图像帧序列进行虚拟人物视频合成和播放，无需终端对较大的视频文件进行整体解码和播放，降低了对终端性能的影响，提高了虚拟人物视频播放的实时性。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1示出了可以应用本发明实施例的生成虚拟人物视频的装置的示例性系统架构；