[发明专利]视频生成方法、系统、终端及存储介质

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

接收视频生成指令，并对所述视频生成指令中的视频文本进行文本分类，得到文本类别；

根据所述文本类别和所述视频生成指令中的目标语种对所述视频文本进行文本转换，得到目标文本，并根据所述目标文本进行语音合成，得到目标音频；

根据所述视频生成指令确定目标视频，并将所述目标视频与所述目标音频进行特征组合，得到所述视频生成指令对应的输出视频。

2.如权利要求1所述的视频生成方法，其特征在于，所述根据所述目标文本进行语音合成，得到目标音频，包括：

将所述目标文本输入预训练后的神经网络进行特征编码，得到文本序列特征，并根据所述文本序列特征，分别确定所述目标文本的查询向量和价值向量；

根据所述查询向量和所述价值向量确定所述目标文本的目标向量，并对所述目标向量进行特征解码，得到所述目标音频。

3.如权利要求1所述的视频生成方法，其特征在于，所述将所述目标视频与所述目标音频进行特征组合，得到所述视频生成指令对应的输出视频，包括：

分别对所述目标视频和所述目标音频进行卷积处理，得到图像特征序列和音频特征序列；

将所述图像特征序列和所述音频特征序列进行特征组合，得到视频特征序列，并对所述视频特征序列进行特征解码，得到所述输出视频。

4.如权利要求2所述的视频生成方法，其特征在于，所述根据所述文本序列特征，分别确定所述目标文本的查询向量和价值向量所采用的公式包括：

v＝(v₁，v₂...v_n)＝W_v×t

k＝(k₁，k₂...k_n)＝W_k×t

其中，k是所述查询向量，v是所述价值向量，W_k，W_v分别是针对所述查询向量和所述价值向量设置的权重矩阵，t是所述目标文本；

所述根据所述查询向量和所述价值向量确定所述目标文本的目标向量所采用的公式包括：

其中，k^T是k的转置，V是所述目标向量。

5.如权利要求3所述的视频生成方法，其特征在于，所述将所述图像特征序列和所述音频特征序列进行特征组合所采用的公式包括：

img_res＝(w*h*c)＝Decode(Encode_all)

Encode_all＝Encode_v+Encode_a

F_a＝F₁，F₂...F_n＝Conv_2d(audio_t)

F_V＝F₁，F₂...F_n＝Conv_2d(img_t)

其中，img_res是所述输出视频中的输出图像，w、h和c分别表示输出图像的宽度、高度和通道数，Decode是解码器，Encode_all是所述视频特征序列，Encode_v是所述目标视频对应的编码网络，Encode_a是所述目标音频对应的编码网络，F_a是所述音频特征序列，F_V是所述图像特征序列，Conv_2d是二维卷积操作，audio_t是所述目标音频，img_t是所述目标视频。