[发明专利]一种虚拟视频处理的方法、装置及存储介质

说明书

本申请实施例提供一种虚拟视频处理的方法、装置及存储介质，包括接收第一会话请求，根据所述第一会话请求获取所述目标文本对应的音频数据和脸部表情特征；对所述音频数据和脸部表情特征进行渲染，得到视频素材集合，所述视频素材集合包括多个脸部特征图片；根据所述多个脸部特征图片和背景图片，得到视频数据，所述视频数据包括多张由脸部特征图片和背景图片合成的视频帧；向所述终端发送目标视频，所述目标视频根据所述视频数据与所述音频数据得到。本方案能够提高会话间播放的实时性和流畅性，促使虚拟视频播放更加逼真。

技术领域

本申请实施例涉及视频处理技术领域，尤其涉及一种虚拟视频处理的方法、装置及存储介质。

背景技术

在视频播放领域，一般结合虚拟视频播放技术和人工智能技术来实现真人进行新闻虚拟播报、代替游戏主播进行游戏虚拟解说等功能。

在对现有技术的研究和实践过程中，本申请实施例的发明人发现，在虚拟视频播放技术中，音频与图片的生成需要耗费大量的计算时间，合成音频与图片则会影响虚拟视频的实时推流，进而影响虚拟视频播放的实时性和流畅性。而现有的视频实时播放方法都是针对已有的、持续稳定的音频、图片数据输入（如本地视频推流），或者是能够持续快速获取到音频、图片数据（如摄像头获取数据）等应用场景。现在的这种视频实时播放方法并不能直接应用在虚拟视频播放中，向客户端实时的推流，以保证虚拟视频播放的实时性和流畅性。

发明内容

本申请实施例提供了一种虚拟视频处理的方法、装置及存储介质，能够提高提高会话间播放的实时性和流畅性，促使虚拟视频播放更加逼真。

第一方面中，本申请实施例提供一种虚拟视频处理的方法，所述方法包括：

接收第一会话请求，所述第一会话请求携带虚拟对象在虚拟视频播放时待播放的语音对应的目标文本；

根据所述第一会话请求获取所述目标文本对应的音频数据和脸部表情特征；

对所述音频数据和脸部表情特征进行渲染，得到视频素材集合，所述视频素材集合包括多个脸部特征图片；

分别将每个脸部特征图片与背景图片合成，得到视频数据，所述视频数据包括多张由脸部特征图片和背景图片合成的视频帧；

向所述终端发送目标视频，所述目标视频根据所述视频数据与所述音频数据得到。

一种可能的设计中，所述向所述终端发送目标视频，包括：

若确定生成待发送给所述终端的视频数据未发生延迟，则将状态切换为忙碌状态；

在获取到所述视频数据后，将所述音频数据和所述视频数据合成为目标视频；

向所述终端发送所述目标视频。

一种可能的设计中，所述向所述终端发送目标视频之前，所述方法还包括：

若确定生成待发送给所述终端的视频数据发生延迟，则将状态切换为空闲状态；

获取过渡视频，所述过渡视频用于发生延迟的延迟时长内所述终端在播放所述目标视频之前的时间内播放；

向所述终端发送所述过渡视频。

一种可能的设计中，所述过渡视频的播放时长大于或等于所述延迟时长；

所述过渡视频包括第一视频帧和第二视频帧，所述第一视频帧是指所述过渡视频中播放时间最早的视频帧，所述第二视频帧是指所述过渡视频中播放时间最晚的视频帧；所述第一视频帧与所述第二视频帧相似。

一种可能的设计中，所述获取过渡视频，向所述终端发送所述过渡视频，包括：

获取目标视频帧，所述目标视频帧是指与所述终端历史会话中向所述终端发送的最后一个视频帧；