[发明专利]用于实现交织图像数据的快速提取的系统和方法

说明书

技术领域

本发明总体涉及在电子设备中的数据处理。具体而言，本发明涉及在例如具有内置相机模块的移动电话的移动电子设备中的不同类型的数据的解交织。

背景技术

近年来，移动电话日益普遍配备内置相机模块。这些相机模块使得用户可以拍摄数字照片并将照片快速传送给朋友和家人。

图1中10示出了一般的数码相机系统，其是移动电话或其他电子设备的一部分。数码相机10包括外壳11和至少一个图像传感器18，其中该外壳11包含至少一个透镜12并且该图像传感器18操作性连接到存储器单元14和处理器或控制器16，存储器单元14和处理器或控制器16二者被设置在相机模块10的外部以及内装有相机模块10的移动电话或其他电子设备的内部。存储器单元14可以用来存储数字图像和存储用于执行数码相机10中的各种功能的计算机软件，也可以实现本发明。图像传感器18可以是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、或其他系统。

由于许多原因，用于移动电话的相机模块通常被设计为小型和廉价的。作为这个事实的结果，典型的图像传感器18在相机模块10之内不包括任何的帧存储器。可替代的是，来自已捕获的图像的图像数据一旦从传感器读出就必须输出到电话引擎。否则，图像数据可能会丢失。典型地，图像传感器18以逐行方式被读取，数据以相同的顺序被发送到电话引擎，电话引擎中有足够的存储空间用于存储数据。

为了减少在相机模块10和电话引擎之间进行图像数据传输所需的带宽，在发送数据之前图像传感器18通常会进一步压缩数据。为了减少在电话引擎中的处理需求，许多相机模块在该阶段使用JPEG压缩，因为在任何情况下图像很可能会以JPEG格式结束，因此电话引擎不会由于JPEG编码而需要花费额外的时间。

从可用性方面看，仅将相机图像进行处理并存储到存储器是不够的。这是因为终端用户可能还想在电话屏幕上查看他或她刚刚获取的图像，例如，决定图像是否有令人满意的质量。从用户的角度来看，也希望在向用户呈现预览图像时没有任何额外的延迟。

然而，不幸的是，从压缩数据中产生预览图像不是一个即时的操作，而是不可避免地会花费一些额外时间。对于这个问题有一些不同的可能的解决办法，但是每个解决方法都具有其自身的严重缺陷。其中一个解决方法涉及允许相机模块10以这样一种格式输出已捕获图像的数据，即允许快速构造在电话显示屏上显示的较小的预览图像。在实践中，该方法使用了图像数据的非压缩格式。然而，该方法的问题在于具有较高分辨率的相机可能不会有足够的带宽来传输数据。

对于这个问题的另一个可能的解决办法是使用含有足够帧存储器的相机模块以允许将相同的图像传输两次，第一次作为具有合适尺寸的图像用于显示，然后作为全分辨率图像用于存储。该方法的问题在于对于事实上执行这个解决方法而言，额外的存储器非常昂贵。

对于上面所讨论的问题的另一个可能的解决办法涉及对用于存储的压缩图像和用于查看的非压缩预览图像进行交织。尽管在相机模块中没有存储器用于整个图像帧，但是相机中的JPEG编码器需要存在用于图像的8行的存储器。这使得在压缩的全分辨率图像数据中交织非压缩预览图像数据成为可能。由于预览数据旨在用于移动电话的显示屏(其分辨率实质上低于相机传感器中的一个)，按比例缩小的预览图像的交织不会增加大量的带宽需求。图2中描述了交织的过程，其中两种类型的数据被拆分成块并一个接一个地被发送。在图2中，白色和黑色菱形表示标记块的每个类型的开始的特殊标记符。实际上，标记符必须被选择为它们自身不能在数据中出现。可选择地，在每个标记符中可以包括关于块长度的信息。然而，在JPEG编码中，例如，在进行编码之前知道输出数据的大小通常是不可能的。因此为实现该方法，相机应该配备额外的缓冲器。

传输一个图像帧的所有数据需要传输预览数据和压缩数据的若干块。一个块可以包含在任何给定时间相机模块能够缓冲的那么多的信息。例如，如果JPEG编码器需要在某些种类的缓冲器中必须有8行可用，则使用包含至少用于那8行的数据的块是可能的。应该注意到，在相机模块中也可能会有一些额外的缓冲容量。

图2也示出了当压缩数据块的长度可能变化时，预览图像数据的块如何总是具有相同的长度。这是因为压缩效率依赖于图像内容，甚至在单一图像内压缩效率可能改变。另一方面，预览数据是非压缩的，因此在一个块中总是有相同数量的预览数据被发送。由于这个原因，预览数据块(在压缩数据块的起始部分)之后的标记符不是必须的，因为预览数据块的长度总是已知的。