[发明专利]一种基于音视频节奏关系的视频背景音乐自动生成方法

权利要求书

1.一种基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，包括如下步骤：

获取视频与音乐数据库中的视频节奏特征和音乐节奏特征的统计信息，建立视频节奏特征与音乐节奏特征之间的节奏关系，所述视频节奏特征包括视觉运动速度特征、视觉运动显著性特征和相应的视频帧数，所述音乐节奏特征包括音符组密度、音符组强度，以及相应的音乐小节和节拍数；

根据预设的视频与音乐间的节奏关系，将输入视频的视觉节奏特征所在节奏位置自动替换为相应节奏位置的音乐节奏特征，与用户指定的音乐风格和乐器类型一起输入到音乐生成模型中，生成视频背景音乐。

2.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，所述视觉运动速度特征包括若干视频帧的平均光流大小；所述视觉运动显著性特征包括相邻两视频帧的光流在不同方向上的变化量。

3.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，所述音符组强度为音符组所含音符的个数，所述音乐小节的音符组密度为该音乐小节所包含的音符组个数。

4.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，所述视频与音乐间的节奏关系为：

视频第t帧对应音乐的拍数，即和/或音乐第i拍对应的视频帧数，即其中，Tempo为每分钟的拍数，FPS为每秒的视频所包含的视频帧数。

5.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，所述视频与音乐数据库中视频节奏特征和音乐节奏特征的统计信息包括视频节奏特征和音乐节奏特征的分位数；将所述输入视频的视觉节奏特征所在节奏位置自动替换为相应节奏位置的音乐节奏特征，具体包括：

建立所述视觉运动速度特征与所述音符组密度关联关系；

建立所述视觉运动显著性特征与所述音符组强度关联关系；

建立输入视频帧数与音乐小节和节拍的转换关系。

6.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，还包括如下步骤：

将音乐小节的音符属性和节奏属性转换为嵌入向量，p_k＝Embedding_k(w_k),k＝1,...,K，其中w_k是第k个属性，Embedding是嵌入向量转换函数，p_k是转换后的第k个嵌入向量，音符属性包括持续时间、音高和乐器类型；节奏属性包括小节开始/拍开始时间、音符组密度和音符组强度；

将嵌入向量联接组合起来，再经过线性变换后，就得到最终的词向量，即其中W_in为线性变换矩阵，为维度拼接操作。

7.根据权利要求1所述的基于音视频节奏关系的视频背景音乐自动生成方法，其特征在于，所述音乐生成模型生成视频背景音乐的步骤包括：

训练音乐生成模型：将音乐中的音符和提取出的音乐节奏特征编码为词向量，将前N-1个词向量作为深度学习模型的输入，预测学习第N个词向量，并进行重复训练，直至符合精度要求；

视频背景音乐生成：将从输入视频中提取的视频节奏特征，根据视频节奏特征与音乐节奏特征之间的节奏关系，转换为音乐节奏特征，然后利用训练好的音乐生成模型生成背景音乐。