[发明专利]同步视频数据和音频数据的方法、存储介质和电子设备

说明书

公开了一种同步视频数据和音频数据的方法、存储介质和电子设备。本发明实施例通过获取视频数据中人脸的唇部状态变化与音频数据中语音信号强度的变化，通过滑动互相关获取使得唇部状态变化和语音信号强度变化相关度最高的时间轴偏差，基于该时间轴偏差进行同步。由此，可以快速进行视频数据和音频数据的音画同步。

技术领域

本发明涉及数字信号处理领域，具体涉及一种数据同步方法、存储介质和电子设备。

背景技术

随着互联网技术的高速发展，在线视频观看的应用也越来越广泛。当前视频多采用音频数据与视频数据分别存储在不同文件中，在播放时，分别从视频文件和音频文件读取信息进行播放。但是，如果分别存储的音频数据与视频数据的时间轴不同步，则会导致音画不同步的问题。

现有技术进行视频数据和音频数据的同步通常依赖于时间戳信息，但由于视频数据与音频数据会存在传输延迟误差的现象，基于时间戳进行同步仍然可能导致同步偏离。

发明内容

有鉴于此，本发明实施例提出一种同步视频数据和音频数据的方法、存储介质和电子设备，可以在不依赖时间戳信息的情况下实现视频数据与音频数据的同步。

根据本发明实施例的第一方面，提供一种同步视频数据和音频数据的方法，其中，所述方法包括：

根据视频数据获取第一序列，所述第一序列为人脸特征参数的时间序列，所述人脸特征参数用于表征视频数据中人脸的唇部(也即，嘴部)状态；

根据音频数据获取第二序列，所述第二序列为音频数据中语音信号强度的时间序列，所述第二序列与所述第一序列采用相同的采样周期；

对所述第一序列与所述第二序列进行滑动互相关，以获得不同时间轴偏差对应的互相关系数；

根据具有最大互相关系数的时间轴偏差同步所述视频数据和所述音频数据。

根据本发明实施例的第二方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

根据本发明实施例的第三方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

本发明实施例通过获取视频数据中人脸的唇部状态变化与音频数据中语音信号强度的变化，通过滑动互相关查找使得唇部状态变化和语音信号强度变化相关度最高的时间轴偏差，基于该时间轴偏差进行同步。由此，可以快速进行视频数据和音频数据的音画速度。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的同步视频数据和音频数据的方法的流程图；

图2是本发明实施例的方法获取第一序列的流程图；

图3是本发明实施例的第一序列与第二序列滑动互相关的流程图；

图4是本发明实施例的电子设备的框图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。