[发明专利]一种配乐生成方法、存储介质及终端设备

说明书

本申请公开了一种配乐生成方法、存储介质及终端设备，所述方法包括：接收用户输入的多媒体文件，其中，所述多媒体文件至少包含视频和/或图像；将所述多媒体文件转换为第一上下文向量；将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息；根据所述音频信息生成所述多媒体文件对应的配乐。本申请通过将多媒体文件对应的第一上下文向量输入预设神经网络中，通过所述神经网络生成所述多媒体文件的音频信息，在根据音频信息生成相应的配乐，以使得通过神经网络为多媒体文件配乐，从而实现了为自动为多媒体文件生成原创音频作为配乐，一方面提高了多媒体文件与配乐的匹配性，另一方面提高为多媒体文件配乐的便捷性和快速性。

技术领域

本申请涉及智能终端技术领域，特别涉及一种配乐生成方法、存储介质及终端设备。

背景技术

随着今年人工智能技术的快速发展，其领域内的神经网络技术的应用得到了广泛的研究和运用，从基于神经网络的图像分类，文本分类到文本生成，语音合成等等都体现了神经网络技术的强大能力。而目前为止这项技术多被用于在智能设备上的照相、照片处理以及个人语音助手等领域。但是，在智能设备使用过程中，还有许多功能可以应用神经网络技术。例如，智能终端在播放图像或视频的同时可以为其配置相应的音频文件（即为配乐），以提高图像和视频的播放意境。但是，现有技术中，终端设备在播放图像之前，通常需要人工选择与之相配合的配乐，以在播放图像或视频时同步播放，这种人工选择的处理方式人为主观性比较大，并且容易出现播放图像与配乐不匹配的问题。因此，如何将神经网络技术应用于为图像或视频进行配乐，成为人们关注的焦点。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种配乐生成方法、存储介质及终端设备，以实现通过神经网络为多媒体文件生成配乐。

本申请所采用的技术方案如下：

一种配乐生成方法，其包括：

接收用户输入的多媒体文件，其中，所述多媒体文件至少包含视频和/或图像；

将所述多媒体文件转换为第一上下文向量；

将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息；

根据所述音频信息生成所述多媒体文件对应的配乐。

所述的述配乐生成方法，其中，所述将所述多媒体文件转换为第一上下文向量具体为：

将所述多媒体文件输入预设的第一编码神经网络，通过所述第一编码神经网络编码以得到第一上下文向量。

所述的述配乐生成方法，其中，所述将所述多媒体文件转换为第一上下文向量还包括：

提取所述多媒体文件包含的视频，并在提取到视频时按照预设策略在提取到的各视频中分别抽取若干图像帧；

采用各视频对应的所有图像帧替换相应的视频，以更新所述多媒体文件。

所述的述配乐生成方法，其中，所述采用各视频对应的所有图像帧替换相应的视频，以更新所述多媒体文件具体包括：

获取各视频提取到的所有图像帧在相应的视频中的视频顺序，并根据预设的播放顺序确定各视频所对应的播放顺序；

根据所述视频顺序以及各视频的播放顺序确定各图像帧的播放顺序，并根据所述各图像帧的播放顺序更新所述预设的播放顺序；

将多媒体文件包含的所有图像帧以及图像按照更新后的播放顺序进行拼接以得到图像文件，并采用所述图像文件替换所述多媒体文件以更新所述多媒体文件。

所述配乐生成方法，其中，所述多媒体文件还包括文本信息，所述将所述第一上下文向量输入预设的神经网络以得到所述多媒体文件对应的音频信息具体包括：