[发明专利]流媒体数据处理方法及装置、流媒体数据再现设备

说明书

技术领域

本发明涉及移动通信领域，更为具体地，涉及一种流媒体数据处理方法、流媒体数据处理装置以及具有该装置的流媒体数据再现设备。

背景技术

目前，流媒体的应用越来越广泛。所谓流媒体是指采用流式传输的方式在互联网上播放的媒体格式。流媒体又叫流式媒体，它是指商家用一个视频传送服务器把节目当成数据包发出，传送到网络上。用户通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来。

通常，流媒体数据包括音频数据和视频数据。所述音频数据和视频数据是两条独立的数据流。在进行流媒体数据播放时，需要将音频数据和视频数据分离开来分别进行解码并呈现。在进行解码和呈现时，音频数据和视频数据中的每帧都具有明确的解码时间帧、显示时间戳。然而，由于存在播放系统中的音频输出设备(例如，声卡)的播放回调(例如，声卡回调)不及时，音频帧和视频帧的解码时间消耗不均匀以及由I帧解码时间长等引起的视频显示卡顿现象，从而会导致音频数据和视频数据不同步，由此使得用户观看流媒体数据时的体验不佳。这里，所述播放回调(例如，声卡回调)指的是音频信号播放设备(例如，声卡)被设置为每隔一定时间，就回调一次，以指示已经播放完一小段音频数据。此时的时间戳也被称为播放回调时间戳。

发明内容

鉴于上述，本发明提供了一种流媒体数据处理方法，在该方法中，利用解码后的音频数据的播放回调时间戳来更新流媒体处理设备的系统时间，并且在进行音频数据和视频数据解码后，基于更新后的系统时间来确定视频帧的显示处理方式。利用该方法，可以避免在播放过程中由于音频时间和系统时间不对应但视频时间和系统时间同步而造成的音视频不同步，从而可以大大减少用户观看视频时的卡顿现象。此外，由于在解码后再进行音视频同步，从而可以避免在播放的视频出现非常严重的卡顿时，不会显示黑屏。

根据本发明的一个方面，提供了一种流媒体数据处理方法，包括：根据流媒体数据中的流索引，将流媒体数据分离为音频流数据和视频流数据并分别缓存在音频流数据队列和视频流数据队列中；分别对缓存在所述音频流数据队列和视频流数据队列中的音频流数据和视频流数据进行解码；基于解码后的音频数据的播放回调时间戳以及流媒体再现设备的系统时间，确定音视频同步时间；以及对于解码后的视频流数据中的每一帧，基于该视频帧的时间戳与所确定出的音视频同步时间和视频刷屏时间之和的比较结果，按照与所述比较结果对应的预定处理方式对该视频帧进行显示处理。

此外，在本发明的上述实施例的一个或多个示例中，在确定该视频帧是关键数据帧或者该视频帧的时间戳大于等于所确定出的音视频同步时间和该视频帧解码时间之和时，对该视频帧进行解码。此外，在确定该视频帧不是关键数据帧且该视频帧的时间戳小于所确定出的音视频同步时间和该视频帧解码时间之和时，丢弃该视频帧。

此外，在本发明的上述实施例的一个或多个示例中，当所述解码后的音频数据的播放回调时间戳与流媒体再现设备的系统时间不一致时，所述音视频同步时间被确定为等于所述播放回调时间戳与所述系统时间之和的一半。

此外，在本发明的上述实施例的一个或多个示例中，在该视频帧的时间戳大于所确定出的音视频同步时间和该视频刷屏时间之和时，等待该视频帧的显示；在该视频帧的时间戳等于所确定出的音视频同步时间和该视频刷屏时间之和时，显示该视频帧；或者在该视频帧的时间戳小于所确定出的音视频同步时间和该视频刷屏时间之和时，丢弃该视频帧。

此外，在本发明的上述实施例的一个或多个示例中，在进行播放之前，判断音频播放模块数据缓存队列是否已经写满音频流数据，其中在音频播放模块数据缓存队列已经写满或者所有音频数据都完成解码时，进行音频流数据播放，否则，继续对音频流数据缓存队列中的音频流数据进行解码。

此外，在本发明的上述实施例的一个或多个示例中，在显示所述视频帧时，采用指针重指向来直接对存储所述视频帧的内存执行引用操作。