[发明专利]背景音乐的插入时间点确定方法、装置、设备和存储介质

权利要求书

1.一种背景音乐的插入时间点确定方法，其特征在于，所述方法包括：

提取目标视频的音频特征以及图像特征；

将所述音频特征以及所述图像特征进行融合，得到所述目标视频的视频特征；

基于注意力机制对所述目标视频的视频特征进行编码，得到多个目标参数，所述多个目标参数对应于所述目标视频的多个时间点，所述目标参数用于表示在对应时间点插入背景音乐的概率；

将所述多个时间点中目标参数符合目标条件的时间点，确定为插入背景音乐的候选时间点。

2.根据权利要求1所述的方法，其特征在于，所述提取目标视频的音频特征以及图像特征包括：

对所述目标视频的多个音频帧进行特征提取，得到所述目标视频的音频特征；

对所述目标视频的多个视频帧进行特征提取，得到所述目标视频的图像特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标视频的多个音频帧进行特征提取，得到所述目标视频的音频特征包括：

对所述多个音频帧的时域信息进行特征提取，得到所述多个音频帧的时域音频特征；

对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征；

基于所述多个音频帧的时域音频特征和频域音频特征，获取所述目标视频的音频特征。

4.根据权利要求3所述的方法，其特征在于，所述对所述多个音频帧的时域信息进行特征提取，得到所述多个音频帧的时域音频特征包括：

采用多个一维卷积核对所述多个音频帧的时域信息进行特征提取，得到所述多个音频帧的时域音频特征；

所述对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征包括：

采用多个二维卷积核对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述多个音频帧的时域音频特征和频域音频特征，获取所述目标视频的音频特征包括：

将所述多个音频帧的时域音频特征和频域音频特征进行融合，得到所述目标视频的初始音频特征；

分别对所述初始音频特征进行最大值池化和均值池化，得到所述目标视频的第一池化特征和第二池化特征；

将所述第一池化特征以及所述第二池化特征进行融合，得到所述目标视频的音频特征。

6.根据权利要求1所述的方法，其特征在于，所述视频特征包括多个子特征，所述多个子特征对应于所述目标视频的多个时间点，所述基于注意力机制对所述目标视频的视频特征进行编码，得到多个目标参数包括：

通过时间点确定模型，基于注意力机制对所述多个子特征中每两个子特征进行编码，得到各个所述子特征的目标参数。

7.根据权利要求6所述的方法，其特征在于，所述基于注意力机制对所述多个子特征中每两个子特征进行编码，得到各个所述子特征的目标参数包括：

对于所述多个子特征中的第一子特征，基于注意力机制确定所述多个子特征中的多个第二子特征对所述第一子特征的多个注意力参数；

将所述多个注意力参数进行融合，得到所述第一子特征的目标参数。

8.根据权利要求7所述的方法，其特征在于，所述基于注意力机制确定所述多个子特征中的多个第二子特征对所述第一子特征的多个注意力参数包括：

对所述第一子特征进行全连接，得到所述第一子特征的嵌入特征；

对于所述多个第二子特征中的任一第二子特征，对所述第二子特征进行全连接，得到所述第二子特征的嵌入特征；

基于所述第一子特征的嵌入特征和所述第二子特征的嵌入特征，确定所述第一子特征和所述第二子特征之间的相似度参数；

基于所述第一子特征以及所述第一子特征和所述第二子特征之间的相似度参数，确定所述第二子特征对所述第一子特征的注意力参数。