[发明专利]在便携式多媒体设备中的音频视频数据处理

说明书

技术领域

本发明总地涉及在电子设备中的数据流处理，更具体地涉及处理例如在可使用多媒体的无线通信设备中的音频和视频数据流的非同步数据流，以及方法。

背景技术

在很多能使用多媒体的无线通信终端中，音频和视频参考公共的时序源，并且在能从相关的数字信号处理(DSP)设备捕获编码的音频视频信息的单核处理器中多路复用，其中音频视频输入和输出紧密耦合。这些公知的体系被设计来提供一组近乎恒定的品质，除了其他包括音频和视频的同步。

3GPP和3GPP2标准体系采用电路交换的H.324M协议，使得可使用包括通用移动通信系统(UMTS)WCDM和CDMA2000协议网络等的第三代(3G)无线通信网络上的实时应用程序和服务。示例性而非限制性的应用程序和服务包括，视频电话和会议、视频监督、实时游戏和视频点播及其他。

在H.324M中，虽然H.324M协议在接收设备中提供了用于音频/视频延迟补偿的指令和接口，但音频和视频信息是非同步传输的。更具体地，H.324M提供了时滞指示消息(skew indication message)，使得传输终端可向接收终端报告在各音频和视频数据流之间的时滞，这可用于补偿以提供例如声像吻合的音频和视频数据等的同步数据流。但在H.324协议中，同步并不是强制性的并且接收终端并不要求使用时滞信息来提供同步。

对本领域的技术人员来说，通过仔细考察以下结合附图所作的详细描述将使本发明的各个方面、特征和优点变得更加明显。

附图说明

图1是表示示例性的便携式多媒体设备的结构图。

图2描述了用来管理音频和视频时滞的示例性的音频和视频队列机制。

图3描述了选择性丢弃程序由用于动态减少音频和视频的时滞。

图4描述了选择性插入程序用于动态增加音频和视频的时滞。

图5是示例性的处理流图。

具体实施方式

图1是在无线通信终端100中的示例形式的便携式多媒体设备，其包括调制解调器110和应用程序实体120，提供了如下更全面讨论的在传输之前被多路复用的非同步音频和视频数据流。例如，在一个实施例中，可使用通用接口将视频路由到PC或执行从相机的视频插入，例如，通过未集成有音频源的通用串行总线(USB)端口进行视频捕获和/或绘制。通常，还存在其他的应用和实施例，其中单独的各数据流源于非同步源或由非同步源提供。在本发明中，数据流源因何不同步是无关紧要的。

在一些实施例中，对于一个或多个数据流源自其中的源(或多个源)，其中的变化会影响时序。例如，从喇叭扩音器到蓝牙头戴式耳机的音频数据流的源中的改变可能要改变音频数据时序或时滞，该音频数据流与相应的希望与该音频数据流同步的视频数据流有关。在一些应用中，来自非同步源的多个数据流之间的延迟根据这些数据流中的一个或二者的处理结果而动态改变。时序的改变可能是由于对数据流的一个或两个的一部分进行编码或其他处理，例如数字版权管理(DRM)编码。

在其他的实施例中，当从一个来源获得视频时，不必同步音频和视频，但当从另一个源获得视频时可能需要同步音频和视频。例如，一些移动电话包括多个相机，可以由用户选择其中的一个或另外一个。但选择了背向用户的相机时，与音频的同步可能不成问题。但当选择了面向用户的相机时，通常需要声像吻合。这样，在一些实施例中，根据所选择的视频来源而需要音频和视频的同步。

在当前公开文本中，时滞(skew)是分别从其中获取第一和第二数据流的非同步源之间近乎恒定的延迟。例如，在一个实施例中，时滞是根据非同步数据流源间的抖动和延迟差的中值或平均值。通常，非同步源要么是用于数据流的始发源要么作为数据流的管道来工作。

在一个实施例中，调制解调器110是无线调制解调器，其支持移动通信协议，例如全球数字移动电话系统(GSM)协议、第3代(3G)通用移动通信系统(UMTS)W-CDMA协议、或几个CDMA协议中的一个，以及其他移动通信协议。可替换地，该调制解调器可以兼容其他一些无线通信协议，诸如IEEE802.xx等的局域网协议、诸如蓝牙等的个人区域网络协议、和广域网协议以及其他。在其他的实施例中，该调制解调器可以是短程无线调制解调器，例如兼容DECT或其他无线电话协议。可替换地，该调制解调器可以是有线调制解调器。虽然示例性的多媒体设备包括调制解调器，但当前的公开文本在通常情况下并不要求调制解调器。这样的未装配调制解调器的设备包括个人数字助理(PDA)、多媒体播放器、音频和视频记录设备、膝上及笔记本计算机以及其他的便携式设备，它们中的任何一个也可以包括无线调制解调器。