[发明专利]一种配乐生成方法、存储介质及终端设备

权利要求书

1.一种配乐生成方法，其特征在于，其包括：

接收用户输入的多媒体文件，其中，所述多媒体文件至少包含视频和/或图像；

将所述多媒体文件转换为第一上下文向量；

将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息；

根据所述音频信息生成所述多媒体文件对应的配乐；

所述将所述多媒体文件转换为第一上下文向量还包括：

提取所述多媒体文件包含的视频，并在提取到视频时按照预设策略在提取到的各视频中分别抽取若干图像帧；

采用各视频对应的所有图像帧替换相应的视频，以更新所述多媒体文件；

所述采用各视频对应的所有图像帧替换相应的视频，以更新所述多媒体文件具体包括：

获取各视频提取到的所有图像帧在相应的视频中的视频顺序，并根据预设的播放顺序确定各视频所对应的播放顺序；

根据所述视频顺序以及各视频的播放顺序确定各图像帧的播放顺序，并根据所述各图像帧的播放顺序更新所述预设的播放顺序；

将多媒体文件包含的所有图像帧以及图像按照更新后的播放顺序进行拼接以得到图像文件，并采用所述图像文件替换所述多媒体文件以更新所述多媒体文件。

2.根据权利要求1所述配乐生成方法，其特征在于，所述将所述多媒体文件转换为第一上下文向量具体为：

将所述多媒体文件输入预设的第一编码神经网络，通过所述第一编码神经网络编码以得到第一上下文向量。

3.根据权利要求1所述配乐生成方法，其特征在于，所述多媒体文件还包括文本信息，所述将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息具体包括：

将所述文本信息转换为第二上下文向量，并根据所述第一上下向量和所述第二上下文向量更新所述第一上下文向量；

将所述更新后的第一上下文向量输入预设的神经网络以得到其对应的音频信息。

4.根据权利要求3所述配乐生成方法，其特征在于，所述将所述文本信息转换为第二上下文向量，并根据所述第一上下向量和第二上下文向量更新所述第一上下文向量具体包括：

将所述文本信息对应的词向量输入第二编码神经网络编码以得到所述第二上下文向量；

将所述第二上下文向量与所述第一上下文向量进行拼接以得到第三上下文向量，并采用所述第三上下文向量更新所述第一上下文向量。

5.根据权利要求1-4任一所述的配乐生成方法，其特征在于，所述将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息具体包括：

将所述第一上下文向量分别输入预设的主旋律神经网络和伴奏神经网络；

所述主旋律神经网络和伴奏神经网络分别根据预设目标时长生成相应的主旋律和伴奏旋律，以得到所述第一上下文向量对应的音频信息。

6.根据权利要求5所述的配乐生成方法，其特征在于，所述根据所述音频信息生成所述多媒体文件对应的配乐具体为：

将所述主旋律和伴奏旋律进行合成以得到所述多媒体文件对应的配乐。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任意一项所述的配乐生成方法中的步骤。

8.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的配乐生成方法中的步骤。