[发明专利]图像处理器、图像处理方法和成像系统

说明书

技术领域

本发明涉及用于连接由透镜系统形成的输入图像的图像处理器、图像处理方法和成像系统。

背景技术

存在这样的已知全向成像系统：其包括诸如鱼眼镜头或超广角镜头之类的多个广角镜头，用于立刻捕获全向图像。其配置为将来自透镜的图像投射到传感器表面，并且通过图像处理组合各图像，从而产生全向图像。例如，通过使用具有超过180度视角的两个广角镜头，可以产生全向图像。

在图像处理中，在考虑来自理想模型的失真的情况下，基于特定的投射模型，每个透镜系统捕获的局部图像经历失真校正和投射转换。然后，基于局部图像的重叠部位连接各局部图像以形成单个全向图像。通过图案匹配等来检测被摄体图像在重叠部位中重叠的位置。

然而，即使在捕获相同被摄体时，具有大量失真的局部图像（例如，利用鱼眼镜头捕获的局部图像）也包含具有不同种类或数量的失真的连接区域。于是，非常难以通过图案匹配精确地检测图像的重叠位置。由此，不能适当地连接局部图像，于是不能产生高质量的全向图像。

存在用于连接以多个相机捕获的局部图像的各种已知技术。例如，日本专利申请公开第2010-130628号（参考文件1）公开了一种成像设备，包括：局部相机，其具有重叠拍摄区域并且捕获被摄体的拍摄区域的局部区域；以及参考相机，其具有包括由每个局部相机捕获的图像的一部分的拍摄区域。它使用相机参数来校正每个相机的捕获图像的失真，检测局部相机的校正图像与基准相机的校正图像彼此一致的图像区域，计算相对位置，并且连接各图像。

进一步，日本专利申请公开第2009-104323号（参考文件2）公开了一种相机系统，其使用被安排为具有重叠拍摄区域的多个相机，并且在没有相机的设置位置的估计的情况下，根据实际捕获的图像产生不引起连接点的位移的高精度映射表格。日本专利申请公开第2010-81479号（参考文件3）公开了一种图像处理器，其仅转换利用车内相机捕获的道路上车辆的鱼眼图像的X坐标，以便产生没有消失点的虚拟视图图像。其旨在将鱼眼图像转换为使得道路表面上的停车场线显得近似线性和平行的图像。

然而，参考文件1涉及连接以平面坐标表示的图像，并且其在应用于使用具有大失真的镜头（如，鱼眼镜头）的成像设备时不能精确地检测连接位置。此外，参考文件2教导了通过使用现有目标板的匹配表格的产生，但是不能精确地对准各图像的位置。参考文件3教导了鱼眼图像的校正，但是不涉及连接多个图像。

发明内容

本发明目标在于提供即使在使用具有大量失真的透镜系统的情况下也可精确地连接所捕获的图像的图像处理器、图像处理方法和成像系统。

根据本发明的一个方面，图像处理器包括：第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像；位置检测器，用于检测由所述转换器转换的图像的连接位置；校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。

附图说明

参照附图，本发明的特征、实施例和优点将从以下的详细描述变得明显：

图1是根据本发明第一实施例的全向成像系统的剖视图；

图2示出图1中的全向成像系统的硬件配置；

图3示出图1中的全向成像系统的整个图像处理的流程；

图4是全向成像系统中用于全向图像合成的功能框图；

图5是用于全向成像系统执行的全向图像的图像合成的流程图；

图6A、6B示出使用鱼眼镜头的全向成像系统的投射；

图7A、7B示出根据第一实施例的全向图像格式的图像数据的数据结构；

图8A、8B示出用于位置检测的第一失真校正器和用于图像合成的第二失真校正器所参考的转换数据；

图9示出两个鱼眼镜头捕获的两个局部图像在用于位置检测的球形坐标系中的映射；

图10是用于全向成像系统执行的连接位置检测的流程图；

图11A、11B示出第一实施例中的连接位置检测；

图12示出位置检测器产生的数据的数据结构；

图13是用于通过根据第一实施例的全向成像系统产生图像合成转换表格的流程图；

图14示出两个鱼眼镜头捕获的两个局部图像在用于图像合成的球形坐标系中的映射；

图15示意性地示出根据第二实施例的全向成像系统的结构；以及