[发明专利]一种音视频同步的方法和装置

权利要求书

1.一种音视频同步的方法，其特征在于，该方法包括：

触发音视频同步时，确定同一帧音频数据从接收到播放的第一时间延迟，同时确定同一帧视频数据从接收到播放的第二时间延迟；

确定第一时间延迟和第二时间延迟的延迟时间差超过设定阈值时；

在第一时间延迟大于第二时间延迟时，根据播放视频数据的帧率对接收的视频数据进行插帧处理；

在第一时间延迟小于第二时间延迟时，根据播放视频数据的帧率对接收的视频帧数据进行丢帧处理；

对接收的视频数据进行插帧/丢帧处理后再播放，以使所述延迟时间差不大于所述设定阈值；

根据预先设置的不同时间阈值范围，确定所述延迟时间差所在的时间阈值范围；通过预先根据播放视频数据的帧率设置的不同时间阈值范围对应的帧数，确定所述延迟时间差所在的时间阈值范围对应的帧数N；对接收的视频数据进行插入N帧视频数据的插帧处理/丢掉N帧视频数据的丢帧处理；

根据播放视频数据的帧率和延迟时间差，确定使延迟时间差不大于设定阈值需要插入的帧数N，在N大于预先设置的最大帧数Nmax时，对接收的视频数据进行Nmax个帧数的插帧/丢帧处理；

其中，对接收的视频数据进行插入N帧视频数据的插帧处理，包括：

N为1时，在接收的当前一帧视频数据F0后面，重复插入当前一帧视频帧数据F0；

N为2时，根据接收的当前一帧视频数据F0与后面第一帧的视频数据F1计算得到一帧视频数据F0’，在所述当前一帧视频数据F0与后面第一帧的视频数据F1之间，插入计算得到的一帧视频数据F0’，并所述后面第一帧的视频数据F1之后，重复插入所述后面第一帧视频数据F1；

N为3时，根据接收的当前一帧视频数据F0与后面第一帧的视频数据F1计算得到第一中间帧视频数据F0’，根据所述后面第一帧的视频数据F1与当前一帧视频数据F0后面第二帧的视频数据F2，计算得到第二中间帧视频数据F1’，在所述当前一帧视频数据F0与后面第一帧的视频数据F1之间，插入所述计算得到的第一中间帧视频数据F0’，在所述后面第一帧F1与后面第二帧的视频数据F2之间，插入所述计算得到的第二中间帧视频数据F1’，并在所述后面第二帧的视频数据F2之后，重复插入所述后面第二帧视频数据F2；

N为4或大于4时，根据接收的当前一帧视频数据F0与后面第一帧的视频数据F1计算得到第一中间帧视频数据F0’，根据所述后面第一帧的视频数据F1与当前一帧视频数据F0后面第二帧的视频数据F2计算得到第二中间帧视频数据F1’，根据所述后面第二帧的视频数据F2与当前一帧视频数据F0后面第三帧的视频数据F3计算得到第三中间帧视频数据F2’，在所述当前一帧视频数据F0与后面第一帧的视频数据F1之间，插入所述计算得到的第一中间帧视频数据F0’，在所述后面第一帧F1与后面第二帧的视频数据F2之间，插入所述计算得到的第二中间帧视频数据F1’，在所述后面第二帧F2与后面第三帧的视频数据F3之间，插入所述计算得到的第三中间帧视频数据F2’，并在所述后面第三帧的视频数据F3之后，重复插入所述后面第三帧视频数据F3；

和/或，对接收的视频数据进行丢掉N帧视频数据的丢帧处理，包括：

N为1时，丢掉接收的当前一帧视频帧数据F0；

N为2时，根据当前一帧视频数据F0与后面第一帧的视频数据F1计算得到第一中间帧视频数据F0’，根据所述计算得到的第一中间帧视频数据F0’与当前一帧视频数据F0的后面第二帧的视频数据F2计算得到第二中间帧视频数据F1’，丢掉当前一帧视频数据F0、所述后面第一帧视频数据F1和所述后面第二帧视频数据F2，在当前位置插入所述计算得到的第二中间帧视频数据F2；

N为3时，根据接收的当前一帧视频数据F0与后面第一帧的视频数据F1计算得到第一中间帧视频数据F0’，根据所述计算得到的第一中间帧视频数据F0’与当前一帧视频数据F0的后面第二帧的视频数据F2计算得到第二中间帧视频数据F1’，根据所述计算得到的第二中间帧视频数据F1’与当前一帧视频数据F0的后面第三帧的视频数据F3计算得到第三中间帧视频数据F2’，丢掉当前一帧视频数据F0、所述后面第一帧视频数据F1、所述后面第二帧视频数据F2和所述后面第三帧视频数据F3，在当前位置插入所述计算得到的第三中间帧视频数据F2’；

N为4或大于4时，根据当前一帧视频数据F0与后面第一帧的视频数据F1计算得到第一中间帧视频数据F0’，根据所述计算得到的第一中间帧视频数据F0’与当前一帧视频数据F0的后面第二帧的视频数据F2计算得到第二中间帧视频数据F1’，根据所述计算得到的第二中间帧视频数据F1’与当前一帧视频数据F0的后面第三帧的视频数据F3计算得到第三中间帧视频数据F2’，根据所述计算得到的第三中间帧视频数据F2’与当前一帧视频数据F0的后面第四帧的视频数据F4计算得到第四中间帧视频数据F3’，丢掉当前一帧视频数据F0、所述后面第一帧视频数据F1、所述后面第二帧视频数据F2、所述后面第三帧视频数据F3和所述后面第四帧视频数据F4，在当前位置插入所述计算得到的第四中间帧视频数据F3’。