[发明专利]图像处理设备

说明书

本发明题为“图像处理设备”。本发明涉及一种图像处理设备，该图像处理设备确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。

技术领域

本发明涉及用于对输入图像的执行组合采样和旋转的图像处理设备。

背景技术

现在参考图1，如PCT申请WO2017/032468(参考：FN-469-PCT)中所公开的，存在许多应用，其中可能期望处理模块(无论是基于软件还是基于硬件)接收固定大小的图像。例如，神经网络可能需要在像素(宽度和高度)具有固定尺寸的矩形图像上运行，以及可能在给定取向上并且位于图像中心的对象上运行。

原始图像可能无法满足这些约束条件，因为对象可能与相机之间的距离不同，并且对象可以相对于相机旋转。

在图1所示的示例中，期望重新采样和旋转引擎10，以产生具有4×6像素的W×H尺寸的固定大小的图像12，用于后续处理。如果将输出图像12叠加在输入图像14上，其中包括对象的感兴趣区域(ROI)的分辨率比输出图像所需的分辨率高，在这种情况下为10:4，并且角度为α，则可以看出需要对多个输入图像像素进行插值以产生每个输出像素值。因此，例如，对于输入图像ROI与输出图像的比率为2:1并使用双线性插值，需要16个输入图像像素才能产生单个输出像素值。因此，取决于ROI和输出图像12的相对大小以及所使用的插值的类型，在多个输出像素的计算中可以涉及至少一些输入像素。

本发明的一个目的是提供改善的硬件解决方案，用于对输入图像进行重新采样(上采样或下采样)并且在后续处理之前对其进行旋转。

发明内容

根据本发明，提供了一种根据权利要求1所述的图像处理设备。

本发明的实施方案确定用于计算输出图像像素的顺序，该顺序最大化地重复使用本地存储器中的数据以用于计算所有相关的输出图像像素。因此，将重复使用同一数据集，直到不再需要它为止。浏览输出图像像素位置，以确定可用输入数据施加的顺序的像素值，而不是输出图像中由像素位置施加的顺序的像素值。因此，使本地存储器所需的存储量以及从包含输入图像的存储器读取的输入图像读取请求和数据的数量最小化。

实施方案从突发中的输入图像读取有限数量的条带，该条带覆盖输入图像的所需宽度，而不仅是像素周围的区域。

效率的增加来自使用相同的数据集(条带)来计算适合条带之间的所有输出图像像素，即使这些输出图像像素不是相邻像素也是如此。

从存储器读取必要的输入图像数据的任务(在时间上)可能与输出图像像素值的计算重叠，因此与顺序执行相比，系统可以以更快的数据速率执行。

本发明的实施方案既可以用于分数下采样标度[1…2)，也可以用于分数上采样标度[0.5…1)。在下采样的情况下，例如可以使用标度[1…512]进行附加的整数下采样。

附图说明

现在将参考附图以举例的方式来描述本发明的实施方案，在附图中：

图1示出了重新采样和旋转引擎的功能，其中将输入图像内的感兴趣区域(ROI)转换为具有固定尺寸的输出图像；

图2示出了根据本发明的实施方案的包括重新采样和旋转引擎的系统；

图3示出了在本发明的实施方案中采用的用于输出图像的索引方案；

图4示出了本发明的实施方案的下采样示例中的输出图像像素处理的顺序；