[发明专利]一种音画同步数据处理方法、装置、设备及介质

权利要求书

1.一种音画同步数据处理方法，其特征在于，包括：

获取待测画面，所述待测画面包括视频信息和音频信息；

基于ffmpeg所提供的调用，对所述待测画面进行音画分离，得到第一视频信息和第一音频信息，其中，基于ffmpeg所提供的调用，对所述第一视频信息进行视频分离与解帧，得到由多个第一视频信息中的帧组成的第一视频帧集合；在执行视频的解帧时，使用的解帧帧率与源视频帧率一致，若源视频为动态帧率视频，则使用最高帧率进行解帧；解帧图片采用png格式保存；在执行音频的分离得到所述第一音频信息后，限制所述第一音频信息不能被转码或变换格式；所述第一音频信息的采集频率与音频特征信息库中音频特征的采集频率相同；所述第一音频信息的音轨与音频特征信息库中音频特征的音轨相同；所述音频特征信息库中音频特征为单声道，在分离音频时以左声道作为默认声道处理；

将所述第一视频帧集合与视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

将所述第一音频信息与音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

当T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

2.根据权利要求1所述的方法，其特征在于，所述获取待测画面之前，还包括：

获取正常画面，所述正常画面为音画同步的画面；

从所述正常画面中选定目标特征帧以及所述目标特征帧对应的目标音频信息，所述目标特征帧为所述正常画面中的一帧，所述目标音频信息为所述正常画面中一段音频信息；

将所述目标特征帧加入所述视频特征信息库中；

将所述目标音频信息加入所述音频特征信息库中。

3.根据权利要求1所述的方法，其特征在于，所述待测画面为第一游戏的第一游戏画面，则所述获取待测画面之前，还包括：

在所述第一游戏的开发过程中：

在所述第一游戏画面的视频信息中创建第一视频特征信息；

将所述第一视频特征信息加入所述视频特征信息库中；

将所述第一视频特征信息所对应的音频信息设定为第一音频特征信息；

将所述第一音频特征信息加入所述音频特征信息库中。

4.根据权利要求1所述的方法，其特征在于，

所述将所述第一视频帧集合与视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，包括：

将所述第一视频帧集合中的视频帧与所述视频特征信息库中的视频特征信息一一比对；

当所述第一视频帧集合中的第一视频帧与所述视频特征信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征；

输出所述第一视频帧为所述第一特征帧；

将所述第一视频帧的帧号除以所述第一视频帧的帧率，得到所述第一特征帧的出现时刻T1。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一视频帧集合中的视频帧与所述视频特征信息库中的视频特征信息一一比对，包括：

将所述第一特征帧转化为灰度图，得到第一灰度帧；

将所述第二视频特征信息转化为灰度图，得到第二灰度帧；

将所述第一灰度帧转化为第一矩阵，其中，所述第一矩阵中的一个元素用于表达所述第一灰度帧中的一个像素；

将所述第二灰度帧转化为第二矩阵，其中，所述第二矩阵中的一个元素用于表达所述第二灰度帧中的一个像素；

将所述第一矩阵与所述第二矩阵输入平方差算法中；

所述当所述第一视频帧集合中的第一视频帧与所述视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征，包括：

当所述平方差算法的计算结果符合预设值时，判定所述第一视频帧与所述第二视频特征信息的匹配度符合预设值。