[发明专利]视频文件的配乐方法、系统、设备及存储介质

权利要求书

1.一种视频文件的配乐方法，其特征在于，所述视频文件的配乐方法包括以下步骤：

从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；

基于所述初始视频文件和配乐音频文件，生成测试视频文件；

根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件；

其中，所述根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件的步骤包括：

检测所述测试视频文件的投放平台，从所述投放平台上获取所述测试视频文件收看对象的用户画像模型和评价参数；

读取相同用户画像模型的各用户在预设周期内收看所述测试视频文件的评价参数，并根据所述评价参数构建用户行为特征序列；

根据所述用户行为特征序列计算用户收看所述测试视频文件时，对所述配乐音频文件的偏好概率分布数据；

以所述偏好概率分布数据指导生成所述配乐音频文件的预设配乐模型，以对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。

2.如权利要求1所述的视频文件的配乐方法，其特征在于，所述视频特征包括：光流强度特征、色度直方图特征、shot边界特征，

所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤包括：

提取所述初始视频文件中各视频图像对应的各光流图，和所述视频图像的色度直方图；

将各所述光流图的平均光流强度作为所述初始视频文件的光流强度特征；

将所述色度直方图进行归一化处理之后，作为所述初始视频文件的色度直方图特征；

检测所述视频图像的shot边界，将所述shot边界所述初始视频文件的shot边界特征。

3.如权利要求1所述的视频文件的配乐方法，其特征在于，所述视频特征还包括：视频情感分数特征，

所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤还包括：

读取所述初始视频文件的视频内容，检测并统计所述视频内容中标识视频情感的情感数据；

将所述情感数据输入至预设情感分析模型，以供所述预设情感分析模型对所述情感数据进行预测得到所述视频内容的情感分数；

将所述情感分数作为所述初始视频文件的视频情感分数特征。

4.如权利要求1至3任一项所述的视频文件的配乐方法，其特征在于，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：

将各项所述视频特征输入至预设配乐模型，所述预设配乐模型通过添加的预设训练样本进行学习训练，所述预设训练样本包括：音视频数据和纯音频数据；

在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件。

5.如权利要求4所述的视频文件的配乐方法，其特征在于，在所述将各项所述视频特征输入至预设配乐模型的步骤之前，所述方法还包括：

检测所述初始视频文件的lookback特征，并将所述lookback特征输入至所述预设配乐模型，其中，所述lookback特征为所述初始视频文件1-2个小节之前的输出、所述输出是否相同和所述输出的位置。

6.如权利要求5所述的视频文件的配乐方法，其特征在于，所述预设配乐模型为基于序列神经网络生成音频文件的配乐模型，

在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：

根据所述初始视频文件的各项所述视频特征和所述lookback特征，生成音符序列；

将所述音符序列输入音符时长序列神经网络，以供所述音符时长神经网络根据所述音符序列和所述lookback特征输出音符时长序列；

将所述音符序列输入鼓点序列神经网络，以供所述鼓点序列神经网络根据所述音符序列输出鼓点组合；

根据所述音符序列、音符时长序列和所述鼓点组合，生成所述初始视频文件的配乐音频文件。