[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本发明涉及适合图像的高速处理的装置和方法。

背景技术

在以往的机器视觉和机器人视觉的大多数中，使用了以基于人类的视觉特性而决定的视频帧率(24～60fps)为上限的帧率。相对于此，进行着使用了大幅超过视频帧率的、1000fps级的高帧率摄像机的实时视觉(以下，称为高速视觉)的研究。

例如，通过使用高速视觉，能够进行稳定的视觉反馈控制，因此，高速视觉应用于需要高速的动作的机器人的控制中(下述的非专利文献1～5)。

此外，由于能够计测快速的移动，所以高速视觉还应用于生物体观察(下述的非专利文献6和7)、动作捕捉(下述的非专利文献8)、流体计测(下述的非专利文献9)等。

除此之外，跟踪(下述的非专利文献10和11)、三维计测(下述的非专利文献12和13)、图像合成(下述的非专利文献14和15)、光流场估计(下述的非专利文献16)等，也存在在一般的图像处理的性能提高中利用了高速视觉的研究。

为了实时处理这样的高的帧率的活动图像，需要高的运算性能。通过近年来的计算机的性能的飞跃提高，在使用了PC的系统中，虽然能够发挥到某种程度的性能，但存在PC在稳定性或可靠性上欠缺的问题。因此，为了实现实用的高速视觉，认为使用嵌入系统较好。通过使用嵌入系统，能够根据使用目的而组合硬件结构而最佳化，还将系统小型化。

另一方面，与PC的CPU相比，在通常的嵌入系统中使用的CPU更显乏力，所以需要通过协同处理器对图像处理的加速器。在以往开发的高速视觉系统中，采用SIMD型的超并行处理器(下述的非专利文献10)，或者作为能够改写硬件结构的LSI的FPGA(Field Programmable Gate Array，现场可编程门阵列)中安装专用电路(下述的非专利文献17和18)，从而实现运算的高速化。

SIMD型的超并行处理器在对多个像素均等地进行处理的情况下，能够实现极其高的性能(下述的非专利文献19～22)。但是，在对图像的一部分进行处理的情况下，不一定能够有效地活用全部处理元素(PE)。在使用了高速视觉的大多数应用中，与对于图像整体的处理相比，需要高速地进行跟踪等的对于局部区域的处理，小区域的计算成为中心，所以这个问题变得深刻。

此外，在大多数情况下，PE之间的数据传送仅能够在与相邻PE之间进行，难以有效地安装扩大/缩小或旋转等的几何变换。因此，能够安装的算法受到限制。

除此之外，可以说在图像传感器的摄像面上进行运算处理的焦平面处理器(focal plane processor)也适合于高的帧率处理，但因为对于电路面积的制约，大多数焦平面处理器被特定化为特定的处理而制造。虽然也开发出进行通用的运算的处理器(下述的非专利文献23～26)，但具有与上述的SIMD型的超并行处理器相同的问题。

此外，也考虑将DSP应用于图像处理。近年来，采用了VLIW(Very Long Instruction Word，超长指令字)或多核等的并行处理技术的DSP上市，可进行高速处理(下述的非专利文献27和28)。但是，由于在使用了VLIW的结构中，主要通过编译程序自动地进行算法的并行化，所以存在不能预先预测命令的执行所需的时间，或者因没有预期的理由而使执行速度降低的情况。相对于此，由于ASIC或FPGA能够将算法具有的并行性直接安装到硬件中，所以并行化的效率高，容易将处理最佳化。尤其，作为可改写硬件结构的LSI的FPGA适于批量型或少量生产。另一方面，使用了FPGA的系统在每次想要变更算法时，需要基于HDL(Hardware Description Language，硬件描述语言)的电路设计，存在开发成本高的问题。

相对于此，还提出了使用FPGA的可重构性(reconfigurability)而定制通用CPU的指令集的系统(下述的非专利文献29)。在这个系统中，兼顾到CPU具有的软件开发的容易性和FPGA的可重构性，能够将用户的电路设计的负担降低至必要最低限度。但是，在这个系统中，CPU只能利用预先准备好的，不能将商用的开发工具或中间件、软件资源等最大限度地活用。

根据本发明人的见解，若考虑中断或者多任务等引起的性能降低，则最好CPU和FPGA尽可能分离，FPGA自主地动作。此外，最好预先准备在图像处理中所需的并行处理或并行数据存取、高速数据传送的结构。

在先技术文献

非专利文献