[发明专利]背景音乐的插入时间点确定方法、装置、设备和存储介质

说明书

本申请公开了一种背景音乐的插入时间点确定方法、装置、设备和存储介质，可应用于计算机技术中的背景音乐插入、人工智能以及车载等场景。在本申请实施例提供中，结合了目标视频的音频特征和图像特征来确定目标视频的视频特征，该视频特征能够较为准确地表示目标视频的内容。基于注意力机制对视频特征进行编码，得到多个目标参数。基于多个时间点的目标参数，从多个时间点中确定出候选时间点，该候选时间点也即是可以在目标视频中插入背景音乐的时间点。在上述确定候选时间点的过程中，由于结合了注意力机制，使得确定出的候选时间点较为准确。同时在插入背景音乐时，在保证准确性的前提下，提高了在视频中插入背景音乐的效率。

技术领域

本申请涉及计算机技术领域，特别涉及一种背景音乐的插入时间点确定方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，观看视频已成为常见的一种娱乐形式。在视频制作过程中，往往会在视频中插入背景音乐，通过背景音乐来烘托视频的氛围，从而提高视频的观看效果。

相关技术中，背景音乐的插入时间点是通过人工选择的方法实现的，即在观看视频的过程中，由视频制作人员根据视频的内容来确定在视频中插入背景音乐的时间点。

但是，采用人工选择的方法需要消耗大量的时间和人力资源，导致在视频中插入背景音乐的效率较低。

发明内容

本申请实施例提供了一种背景音乐的插入时间点确定方法、装置、设备和存储介质，能够提高在视频中插入背景音乐的效率，技术方案如下。

一方面，提供了一种背景音乐的插入时间点确定方法，所述方法包括：

提取目标视频的音频特征以及图像特征；

将所述音频特征以及所述图像特征进行融合，得到所述目标视频的视频特征；

基于注意力机制对所述目标视频的视频特征进行编码，得到多个目标参数，所述多个目标参数对应于所述目标视频的多个时间点，所述目标参数用于表示在对应时间点插入背景音乐的概率；

将所述多个时间点中目标参数符合目标条件的时间点，确定为插入背景音乐的候选时间点。

一方面，提供了一种背景音乐的插入时间点确定装置，所述装置包括：

特征提取模块，用于提取目标视频的音频特征以及图像特征；

特征融合模块，用于将所述音频特征以及所述图像特征进行融合，得到所述目标视频的视频特征；

编码模块，用于基于注意力机制对所述目标视频的视频特征进行编码，得到多个目标参数，所述多个目标参数对应于所述目标视频的多个时间点，所述目标参数用于表示在对应时间点插入背景音乐的概率；

候选时间点确定模块，用于将所述多个时间点中目标参数符合目标条件的时间点，确定为插入背景音乐的候选时间点。

在一种可能的实施方式中，所述特征提取模块，用于对所述目标视频的多个音频帧进行特征提取，得到所述目标视频的音频特征；对所述目标视频的多个视频帧进行特征提取，得到所述目标视频的图像特征。

在一种可能的实施方式中，所述特征提取模块，用于对所述多个音频帧的时域信息进行特征提取，得到所述多个音频帧的时域音频特征；对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征；基于所述多个音频帧的时域音频特征和频域音频特征，获取所述目标视频的音频特征。

在一种可能的实施方式中，所述特征提取模块，用于采用多个一维卷积核对所述多个音频帧的时域信息进行特征提取，得到所述多个音频帧的时域音频特征；所述对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征包括：采用多个二维卷积核对所述多个音频帧的频域信息进行特征提取，得到所述多个音频帧的频域音频特征。