[发明专利]流水线化的图像处理引擎

说明书

技术领域

本发明一般涉及流水线化的图像处理引擎，并且更具体地涉及用于通 过多核处理系统上的效果流水线(effect pipeline)来处理多个图像帧的系 统和方法。

背景技术

随着制造技术的持续提高，基于半导体的微电子的物理极限也扩展来 满足对更有能力的微处理器的需要。处理速度上的限制带来了这样的适应 性：通过采用多核或分布式体系结构以分布工作负荷的并行化来平衡现有 处理器速度和性能，由此增加了处理能力并减少了处理时间。

电影/视频/成像空间中的应用常常以流水线方式将多个图像处理效果 链接起来。这些图像处理流水线可以从通过多核或分布式体系结构提供的 并行化中受益。执行这种图像处理的应用共享共同的特性，包括以实时的 速率处理并移动大量数据的需求。

这种系统的传统实施方式遭受了差的吞吐量、高延时以及增加的复杂 性这些问题的组合，这降低了可扩展性和可缩放性。如在流水线系统中那 样，在将依赖于连续执行的多个分立效果链接起来时，使这些限制增加。

在处理视频时，‘效果流水线’指以定义的顺序对图像应用视觉效 果。类似地，‘效果’指效果流水线的各级。

在效果流水线中将硬件资源分布在各个效果间的现有方法通常受到许 多关于并行化的限制的影响。

一种方法将各个图像帧的数据定义为最小工作份额，这允许各个效果 独立地对给定帧或其它帧操作。虽然这种方法允许多个效果共同存在于共 享系统中而不会在它们之间强加紧密集成，然而，这种方法也导致了整个 系统的高延时。这种延时与效果流水线中的效果数目有关。

‘流水线性能’将性能测量为延时和计算时间的组合。‘延时’指流 水线系统发出给定单位的数据所需的时间。对于效果流水线，‘延时’指 流水线中的每个图像帧自进入流水线中第一效果的时刻起到离开流水线中 最后一个效果的时间为止所花费的时间。

‘计算时间’指处理标准单位的数据，例如图像帧所需的时间。此 外，计算时间可以表示为视频系统的帧频的函数，或者处理帧的实际时间 的函数。

图11图示出了多核系统中的6级基于帧的效果流水线。在图11中， 在假设流水线中的处理器数目等于或大于效果数目的最佳情况下，各个效 果被指派给处理器(或核)。每个处理器每次对一个完整图像帧上的效果 进行处理。图像帧可能来源于视频流或图像帧的其它源。各个进入帧依次 顺序地被处理。为了简化起见，假设每个效果花费相同量的时间来处理 帧，这表示了输出每个帧所需的最佳时间，以便维持一致的帧频。

在时间t1，帧1进入流水线，并且由处理器1将第一效果应用到帧 1。在时间t2，帧2被处理器1载入并处理，并且帧1被处理器2载入并处 理。在时间t3，帧3被处理器1载入并处理，帧2被处理器2载入并处 理，并且帧1被处理器3载入并处理。从时间t4至t6，帧4至帧6被引入 流水线，并且帧1-3沿着流水线前进。在时间t6的结尾处，帧1从流水线 中出来。

可以将流水线延时测量为通过流水线中的所有级处理一帧所需的时 间，或者以‘帧时间’，即在帧N离开效果流水线之前管道中的第一效果 所处理的帧数来测量流水线延时。作为帧时间的函数，流水线延时被计算 为：

PL_FT＝M-N    (式1)

其中：

·PL_FT是以帧时间为单位的流水线延时。

·M是在时刻T时进入流水线的帧。

·N是在时刻T时离开流水线的帧，并且M＜N。

对于基于帧的体系结构，流水线延时也可以被定义为链中的最慢效果 的处理时间与流水线中的效果(或级)数之积。这被计算为：

PL_CT＝N×T_FM    (式2)

其中：

·PL_CT是作为计算时间的流水线延时。

·N是流水线中的级数。

·T_FM是流水线中的最慢效果M处理帧所需的时间。

假设每120ms新的帧被馈送入流水线中，流水线包含6个级或效果， 并且流水线中的最慢效果也花费120ms来处理一帧的数据，则图11中的 基于帧的系统的流水线延时(PL)为6×120＝960ms。