[发明专利]图像处理方法和系统

说明书

技术领域

本发明涉及图像的处理，更具体地说，涉及多个图像数据流的处理。

背景技术

在许多应用中，捕捉多个图像，并且在观看之前，需要处理这多个图像，比如压缩、传送和保存。

例如，为了监视生产线，摄像系统可包括各自产生图像流的多个摄像机。另外，在许多360视频应用中，摄像机可包括各自产生图像流的两个鱼眼镜头和/或一个变焦镜头。鱼眼镜头具有广角视场，存在许多变体。典型的鱼眼镜头可用180°半球全圆形成图像。从而，两个鱼眼镜头可背靠背地布置，以捕捉整个环境。变焦镜头可放大环境的所选区域，以更详细地显示所选区域。

从而可以产生多个图像数据流，这些图像数据流可以是相同或不同的格式。例如，变焦镜头捕捉的图像可以是高清晰格式。HD分辨率视频的特征在于其宽幅(通常16∶9长宽比)及其高图像清晰度(与通常的帧大小为720×576像素的标准视频清晰度(SD)格式相比，通常的帧大小为1920×1080像素和1280×720像素)。相反，由安装在适当摄像机上的鱼眼镜头捕捉的图像可以是超高清晰度(XHD)分辨率图像。超高清晰度(XHD)格式获得与高清晰度(HD)格式视频相比尺寸更大的图像。在许多应用中这是合乎需要的，因为它提高了用户数字放大环境的能力。

每个图像通常具有受计算机和处理硬件支持的颜色深度。颜色深度描述用于表现位映射(bitmapped)图像或视频帧缓冲区中的单一像素的颜色的二进制位的数目，有时被称为每像素位数。较高的颜色深度呈现出范围更宽的不同颜色。

真彩色具有一千六百七十万种不同的颜色，并且模拟在真实世界中见到的许多颜色。所产生颜色的范围接近人眼能够区分大多数摄影图像的颜色的水平。不过，当图像被处理，或者是黑白图像(它将真彩色局限于256灰度级)或者“纯粹”生成图像时，会出现一些局限性。

通常，在目前的标准中，以24或32位颜色深度捕捉图像。

24位真彩色使用8位来表示红色，8位来表示蓝色，和8位来表示绿色。对这三种颜色中的每一种来说，这产生256种色度(shade)。于是，可组合这些色度，从而形成总共16777216种混合颜色(256×256×256)。

32位颜色包含24位颜色和额外的8位，这额外的8位或者作为空的填充空间，或者表示α通道。许多计算机在内部以32位为单位处理数据。于是，使用32位颜色深度是合乎需要的，因为它可以优化速度。不过，这是以增大安装的视频存储器为代价的。

HD或XHD流都具有已知的数字数据格式。由标准位数(已知的颜色深度)表现的像素构成1和0的位流。在顺序扫描图像行的情况下，可使用逐行扫描，或者例如，在首先扫描奇数行，随后扫描偶数行的情况下，可使用隔行扫描。通常，每一行的扫描是从左到右。通常存在至少一个报头，所述报头由指示在其之后的位流的有关信息的1和0构成。各种数字数据流格式，包括不同数目的报头都是可能的，并且为本领域的技术人员所知。为避免产生疑问，已知的数据格式是任何图像格式(例如，HD或XHD)的任何已知数字格式。

图像数据流通常是MPEG 2和4兼容的。

MPEG-2是由运动图像专家组为数字视频定义的标准。它规定封闭的视频位流的语法。另外，它规定用于对应视频流的后续编码和压缩的语义和方法。不过，实现实际编码处理的方式由编码器设计决定。于是，有利的是，所有MPEG-2兼容设备都是能共同使用的。目前，MPEG-2标准被广泛接受。

MPEG-2允许对从有限清晰度到全HDTV范围内的四种源格式，或者说“级别”编码，每一种源格式都具有多种位速率。另外，MPEG-2允许不同的“简档(profile)”。每种简档提供一起构成编码系统的一批压缩工具。不同的简档意味着可得到不同的一组压缩工具。

包含H.264压缩方案的MPEG-4标准处理覆盖低位速率和高位速率的较高压缩比。它兼容MPEG-2流，并开始成为未来的主流标准。

存在许多符合规定的记录格式。例如，HDV是常用的产生HD视频的记录格式。该格式与MPEG-2兼容，对流可以使用MPEG-2压缩。

来自MEPG-2视频编码器的输出被称为基本流(换句话说，数据或视频位流)。基本流只包含一种数据，并且是连续的。在源结束之前，它们不会停止。基本流的准确格式将随编解码器或者流中携带的数据而变化。