[发明专利]视频生成方法、系统、终端及存储介质

说明书

本发明提供了一种视频生成方法、系统、终端及存储介质，该方法包括：对视频生成指令中的视频文本进行文本分类，得到文本类别；根据文本类别和目标语种对视频文本进行文本转换，得到目标文本，根据目标文本进行语音合成，得到目标音频；根据视频生成指令确定目标视频，将目标视频与目标音频进行特征组合，得到输出视频。本发明通过对视频生成指令中的视频文本进行文本分类，得到文本类别，基于文本类别和目标语种能有效地将视频文本转换为目标文本，基于目标文本，能有效地合成视频生成指令对应用户需要语种的目标音频，进而方便了用户进行视频生成的操作，提高了视频生成效率。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频生成方法、系统、终端及存储介质。

背景技术

随着移动互联网进入5G时代和智能终端的普及，相关技术逐步完善之后，越来越多的人发现短视频可以高效、便捷地表达信息，更愿意通过短视频进行信息的发布。短视频由于内容精炼等特点快速在各大平台传播并获得大量的流量，人们喜欢通过短视频的方式将自己的动态进行视频分享，因此，视频生成方法越来越受人们所重视。

现有的视频生成过程中，一般仅支持单一的语种，用户在使用过程容易受语言的限制，导致用户操作不便利，降低了视频生成效率。

发明内容

本发明实施例的目的在于提供一种视频生成方法、系统、终端及存储介质，旨在解决现有的视频生成效率低下的问题。

本发明实施例是这样实现的，一种视频生成方法，所述方法包括：

接收视频生成指令，并对所述视频生成指令中的视频文本进行文本分类，得到文本类别；

根据所述文本类别和所述视频生成指令中的目标语种对所述视频文本进行文本转换，得到目标文本，并根据所述目标文本进行语音合成，得到目标音频；

根据所述视频生成指令确定目标视频，并将所述目标视频与所述目标音频进行特征组合，得到所述视频生成指令对应的输出视频。

更进一步的，所述根据所述目标文本进行语音合成，得到目标音频，包括：

将所述目标文本输入预训练后的神经网络进行特征编码，得到文本序列特征，并根据所述文本序列特征，分别确定所述目标文本的查询向量和价值向量；

根据所述查询向量和所述价值向量确定所述目标文本的目标向量，并对所述目标向量进行特征解码，得到所述目标音频。

更进一步的，所述将所述目标视频与所述目标音频进行特征组合，得到所述视频生成指令对应的输出视频，包括：

分别对所述目标视频和所述目标音频进行卷积处理，得到图像特征序列和音频特征序列；

将所述图像特征序列和所述音频特征序列进行特征组合，得到视频特征序列，并对所述视频特征序列进行特征解码，得到所述输出视频。

更进一步的，所述根据所述文本序列特征，分别确定所述目标文本的查询向量和价值向量所采用的公式包括：

v＝(v₁，v₂…v_n)＝W_v×t

k＝(k₁，k₂…k_n)＝W_k×t

其中，k是所述查询向量，v是所述价值向量，W_k，W_v分别是针对所述查询向量和所述价值向量设置的权重矩阵，t是所述目标文本；

所述根据所述查询向量和所述价值向量确定所述目标文本的目标向量所采用的公式包括：