[发明专利]多媒体文件中音视频数据的解复用方法及装置

说明书

技术领域

本发明涉及多媒体文件中音视频数据的处理技术，特点涉及一种多媒体文件中音视频数据的解复用方法及装置。

背景技术

随着播放技术的提高，出现了多线程媒体播放器，图1为现有技术提供的多线程媒体播放器结构示意图，包括解复用线程模块、视频解码线程模块、视频播放线程模块、音频解码线程模块、音频播放线程模块及共享控制模块，其中，共享控制模块分别与其他线程模块交互，控制其他线程模块对多媒体文件整个的解复用、解码及播放过程。

当解复用线程模块接收到多媒体文件时，这个多媒体文件的格式可以为AVI、MP4、3GP、WMV或MKV，这个多媒体文件缓存多个数据帧，这些数据帧可以为音频数据帧，也可以为视频数据帧，这些音频数据帧或视频数据帧的缓存顺序与解码顺序并相同，所以需要进行解复用，使得解复用后的多媒体文件中数据帧的缓存顺序与解码顺序相同。因此，在共享控制模块的控制下对多媒体文件进行解复用，输出原始流音视频帧队列，其中包括按照音视解码顺序重新顺序排列的音频数据帧和视频数据帧。在共享控制模块的控制下由视频解码线程模块对原始流音视频帧队列中的音频数据帧进行解码得到诸如格式为YUV或RGB等的视频帧播放队列，发送给视频播放线程模块，视频播放线程模块在共享控制模块的控制下，将视频帧播放队列进行视频播放。在共享控制模块的控制下由音频解码线程模块对原始流音视频帧队列中的视频数据帧进行解码得到诸如PCM格式的音频帧播放队列，发送给音频播放线程模块。音频播放线程模块在共享控制模块的控制下将该音频帧播放队列播放。

在上述过程中，解复用线程模块的作用就是根据多媒体文件中的音频数据帧或视频数据帧的解码时间戳对多媒体文件中的音频数据帧或时频数据帧重新顺序排列，得到原始流音视频帧队列用于后续的音视频数据解码及播放，保证解码及播放的同步性。

对于解复用线程模块接收到的多媒体文件，可以以交织的形式或非交织的形式缓存音频数据帧和视频数据帧，所缓存的音频数据帧和视频数据帧都标识有解码时间戳。在多媒体文件中，还可以携带或不携带索引，该索引标识了每个数据帧的字节偏移位置及大小，用于在多媒体文件中定位每个数据帧。

当多媒体文件不携带索引时，则无论多媒体文件中的音频数据帧或视频数据帧是否交织，完全按照每一音频数据帧或每一视频数据帧在多媒体文件中的缓存顺序由前至后进行解复用，得到原始流音视频帧队列。

当多媒体文件携带有索引时，根据索引确定每一音频数据帧或每一视频数据帧在多媒体文件中的位置，按照解码时间戳从小到大顺序，对多媒体文件中的音频数据帧或视频数据帧的缓存位置进行跳转，得到按照解码时间戳从小到大顺序排列的原始流音视频帧队列。

图2为现有技术在多媒体文件携带有索引时，将多媒体文件解复用为原始流音视频帧队列的过程示意图，如图2的最上一行所示，多媒体文件缓存的音频数据帧或视频数据帧的顺序为：视频数据帧V1、视频数据帧V2、视频数据帧V3、....、音频数据帧A1、音频数据帧A2、音频数据帧A3、...，也就是没有将音频数据帧与视频数据帧交织缓存，并且每一视频数据帧的持续时间为40毫秒，每一音频数据帧的持续时间为20毫秒，则视频数据帧的解码时间戳依次为0、40、80、120、...，音频数据帧的解码时间戳依次为0、20、40、60、...。。这时，在复用时，就需要根据索引，按照解码时间戳从小到大顺序，对多媒体文件中的音频数据帧或视频数据帧的缓存位置进行跳转，得到按照解码时间戳从小到大顺序排列的原始流音视频帧队列，如图2中第二行所示。得到的原始流音视频帧队列为：视频数据帧V1、音频数据帧A1、音频数据帧A2、视频数据帧V2、音频数据帧A3、音频数据帧A4、视频数据帧V3、音频数据帧A5、音频数据帧A6、视频数据帧V4、音频数据帧A7、音频数据帧A8、...。在图2中，还标识了为得到原始流音视频帧队列而在多媒体文件中发生的跳转，可以看出，对于非交织缓存数据帧的多媒体文件，或者交织缓存数据帧，但没有按照解码时间戳缓存数据帧的多媒体文件，经过很多次跳转才解复用得到原始流音视频帧队列。

在对多媒体文件的解复用过程中，这种过多的索引定位及跳转操作，尤其是频繁地前后移动多媒体文件的读指针进行索引定位，会造成解复用速度变慢，效率下降。特别对远程的多媒体文件解复用时，会造成多线程媒体播放器所在客户端的网络负荷，甚至会影响后续对原始流音视频帧队列的解码及后续正常播放。

发明内容

有鉴于此，本发明提供一种多媒体文件中音视频数据的解复用方法，该方法能够提高多媒体文件的解复用效率。