[发明专利]一种基于音视频节奏关系的视频背景音乐自动生成方法

说明书

本发明提供了一种基于音视频节奏关系的视频背景音乐自动生成方法，提取输入视频的视觉节奏特征，包括视觉运动速度特征、视觉运动显著性特征和相应的视频帧数；根据预设的视频与音乐间的节奏关系，将输入视频的视觉节奏特征所在节奏位置自动替换为相应节奏位置的音乐节奏特征，包括音符组密度和音符组强度；将转换后的音乐节奏特征，连同用户输入的音乐风与乐器类型输入到深度学习模型中，生成视频背景音乐。本发明可快速为视频自动生成背景音乐，所生成的音乐能够在节奏上与视频配合，能够便利视频剪辑工作者或普通人的视频制作，且获得个性化的视频背景音乐。

技术领域

本发明涉及音乐生成和跨模态技术领域，具体涉及一种基于音视频节奏关系的视频背景音乐自动生成方法。

背景技术

视频背景音乐生成指根据一段视频自动生成背景音乐，现有的相关技术，无法自动为视频生成配乐，只能在音乐库中检索，检索量大且过程繁杂，检索结果无法与视频完美契合，且无法满足用户的个性化需求，且存在侵犯版权的可能性。

因此，如何提供一种基于音视频节奏关系能够自动为视频生成个性化背景音乐的视频背景音乐自动生成方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于音视频节奏关系的视频背景音乐自动生成方法，本发明建立了视频与音乐在节奏上的三种关联关系，并提出一种新的音乐表示形式，根据视频的节奏生成背景音乐。

为了实现上述目的，本发明采用如下技术方案：

一种基于音视频节奏关系的视频背景音乐自动生成方法，包括如下步骤：

获取视频与音乐数据库中的视频节奏特征和音乐节奏特征的统计信息，建立视频节奏特征与音乐节奏特征之间的节奏关系，所述视频节奏特征包括视觉运动速度特征、视觉运动显著性特征和相应的视频帧数，所述音乐节奏特征包括音符组密度、音符组强度，以及相应的音乐小节和节拍数；

根据预设的视频与音乐间的节奏关系，将所述输入视频的视觉节奏特征所在节奏位置自动替换为相应节奏位置的音乐节奏特征，与用户指定的音乐风格和乐器类型一起输入到音乐生成模型中，生成视频背景音乐。

优选的，所述视觉运动速度特征包括若干视频帧的平均光流大小；所述视觉运动显著性特征包括相邻两视频帧的光流在不同方向上的变化量。

优选的，所述音符组强度为音符组所含音符的个数，所述音乐小节的音符组密度为该音乐小节所包含的音符组个数。

优选的，所述视频与音乐间的节奏关系为：

视频第t帧对应音乐的拍数，即和/或音乐第i拍对应的视频帧数，即其中，Tempo为每分钟的拍数，FPS为每秒的视频所包含的视频帧数。

所述视频与音乐数据库中视频节奏特征和音乐节奏特征的的统计信息还包括视频节奏特征和音乐节奏特征的分位数。

优选的，将所述输入视频的视觉节奏特征所在节奏位置自动替换为相应节奏位置的音乐节奏特征，具体包括：

建立所述视觉运动速度特征与所述音符组密度关联关系；

建立所述视觉运动显著性特征与所述音符组强度关联关系；

建立输入视频帧数与音乐小节和节拍的分位数转换关系。

优选的，还包括如下步骤：

将音乐小节的音符属性和节奏属性转换为嵌入向量，p_k＝Embedding_k(w_k),k＝1,...,K，其中w_k是第k个属性，Embedding是嵌入向量转换函数，p_k是转换后的第k个嵌入向量，音符属性包括持续时间、音高和乐器类型；节奏属性包括小节开始/拍开始时间、音符组密度和音符组强度；