[发明专利]同步视频数据和音频数据的方法、存储介质和电子设备

权利要求书

1.一种同步视频数据和音频数据的方法，其特征在于，所述方法包括：

根据视频数据获取第一序列，所述第一序列为人脸特征参数的时间序列，所述人脸特征参数用于表征视频数据中人脸的唇部状态；

根据音频数据获取第二序列，所述第二序列为音频数据中语音信号强度的时间序列，所述音频数据为除无语音信号部分的音频文件，所述第二序列与所述第一序列采用相同的采样周期，所述采样周期根据所述视频数据中人脸嘴部动作的频率设定；

对所述第一序列与所述第二序列进行滑动互相关，以获得不同时间轴偏差对应的互相关系数；

根据具有最大互相关系数的时间轴偏差同步所述视频数据和所述音频数据；

其中，所述人脸特征参数为：

人脸唇部图像的高度、人脸唇部图像的面积和人脸唇部图像的高度与宽度的比值中的任一项；或者

包含人脸唇部图像的高度、人脸唇部图像的面积和人脸唇部图像的高度与宽度的比值中的至少一项的函数。

2.根据权利要求1所述的方法，其特征在于，根据所述视频数据获取第一序列包括：

按照预定采样周期对所述视频数据采样以获取第一图像序列，所述第一图像序列包括采样获取的图像；

获取所述第一图像序列中每一个图像对应的所述人脸特征参数，以获取所述第一序列。

3.根据权利要求2所述的方法，其特征在于，获取所述第一图像序列中每一个图像对应的所述人脸特征参数包括：

对所述第一图像序列中的每一个图像进行人脸检测获取每一个图像的人脸区域信息；

根据所述第一图像序列中的每一个图像的对应的人脸区域信息获取人脸唇部关键点信息；

根据所述第一图像序列中的每一个图像的人脸唇部关键点信息获取所述人脸特征参数。

4.根据权利要求2所述的方法，其特征在于，所述根据音频数据获取第二序列包括：

根据所述采样周期对所述音频数据进行语音信号强度的提取以获取所述第二序列。

5.根据权利要求1所述的方法，其特征在于，所述视频数据为在线录制的视频文件，所述音频数据为随视频数据同步录制并去除无语音信号部分的音频文件。

6.根据权利要求1所述的方法，其特征在于，对所述第一序列与所述第二序列进行滑动互相关包括：

按照可能的时间轴偏差对所述第一序列进行时间轴偏移，获取每一个可能的时间轴偏差对应的偏移后的第一序列；

将所述第二序列和每一个偏移后的第一序列进行互相关，获取每一个可能的时间轴偏差对应的互相关系数。

7.根据权利要求1所述的方法，其特征在于，对所述第一序列与所述第二序列进行滑动互相关包括：

按照可能的时间轴偏差对所述第二序列进行时间轴偏移，获取每一个可能的时间轴偏差对应的偏移后的第二序列；

将所述第一序列和每一个偏移后的第二序列进行互相关，获取每一个可能的时间轴偏差对应的互相关系数。

8.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。