[发明专利]一种音视频对齐方法、装置、设备及存储介质

权利要求书

1.一种音视频对齐方法，其特征在于，包括：

获取目标音频数据，并确定所述目标音频数据的音频节拍序列；

获取目标视频数据，并确定所述目标视频数据的第一视频节拍序列；

获取所述音频节拍序列与所述第一视频节拍序列之间的动态时间规整距离；

根据所述动态时间规整距离对所述音频节拍序列与所述第一视频节拍序列进行对齐处理，得到第一音视频数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述动态时间规整距离对所述音频节拍序列与所述第一视频节拍序列进行对齐处理，得到第一音视频数据之后，所述方法还包括：

确定所述第一音视频数据中的每一帧音视频数据的目标参数；

根据所述每一帧音视频数据的目标参数对所述第一音视频数据进行时间扭曲，得到第二音视频数据。

3.根据权利要2所述的方法，其特征在于，所述每一帧音视频数据的目标参数与所述第一音视频数据的目标音视频节拍点的冲击强度成正比，其中，所述目标音视频节拍点为所述第一音视频数据的音视频节拍序列中距离所述每一帧音视频数据最近的音视频节拍点。

4.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频数据的第一视频节拍序列，包括：

根据深度学习算法，提取所述目标视频数据中每一帧视频数据的光流；

根据所述每一帧视频数据的光流，获取所述目标视频数据的方向图，其中，所述方向图中的每一列包含所述每一帧视频数据的光流的运动趋势；

根据所述方向图，获取所述目标视频数据的冲击包络；

计算所述目标视频数据的视频节拍图，得到所述目标视频数据的第一视频节拍间隔；

根据所述冲击包络和所述第一视频节拍间隔，获取所述目标视频数据的第一视频节拍序列。

5.根据权利要求4所述的方法，其特征在于，所述根据所述每一帧视频数据的光流，获取所述目标视频数据的方向图，其中，所述方向图中的每一列包含所述每一帧视频数据的光流的运动趋势，包括：

将所述每一帧视频数据中的目标像素的光流过滤，得到过滤后的所述每一帧视频数据的目标光流，所述目标像素为所述每一帧视频数据中光流小于预设阈值的像素；

根据所述每一帧视频数据的目标光流，获取所述目标视频数据的方向图，其中，所述方向图中的每一列包含所述每一帧视频数据的目标光流的运动趋势。

6.根据权利要求4所述的方法，其特征在于，所述根据所述冲击包络和所述第一视频节拍间隔，获取所述目标视频数据的第一视频节拍序列，包括：

根据所述冲击包络和所述第一视频节拍间隔，获取第二视频节拍序列；

获取局部极值中的目标视频节奏点；

将所述第二视频节拍序列中除所述目标视频节奏点所在时间以外的所有时间进行时间扭曲，得到第二视频节拍间隔；

根据所述冲击包络和所述第二视频节拍间隔，获取所述目标视频数据的第一视频节拍序列。

7.根据权利要求6所述的方法，其特征在于，所述获取局部极值中的目标视频节奏点，包括：

将所述视频节拍图中每一列的最大值进行归一化处理，得到归一化结果；

根据所述归一化结果，在局部极值中选择目标视频节奏点。

8.根据权利要求1所述的方法，其特征在于，所述确定所述目标音频数据的音频节拍序列，包括：

获取所述目标音频数据的音频起始点，得到起始点包络；

根据所述起始点包络的自相关，获取音频节拍间隔；

根据所述起始点包络和所述音频节拍间隔，获取所述目标音频数据的音频节拍序列。

9.一种音视频对齐设备，其特征在于，包括处理器及存储器，其中，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。