[发明专利]用于图像合成的设备及方法

说明书

技术领域

本发明涉及一种图像合成设备，用于显示安装在车辆上的摄像机的所处理图像，以减少驾驶员的车辆的盲点，并便利驾驶操作。

背景技术

传统地，作为用于合成从安装于车辆外围的多个摄像机获得的各个图像的图像合成设备，已经提出了一种图像合成设备，其中例如，自环绕驾驶员自己车辆的上方所见的图像被变形并合成，合成图像被显示在车辆内部的显示设备上(例如，见专利参考文件1)。也已经提出了另一种图像合成设备，其中，在图像的变形/合成中，虚拟视点(virtual viewpoint)的位置被动态地改变，以根据驾驶状况提供最佳视点图像(合成图像)(例如，见专利参考文件2)。

图3是专利参考文件2中所披露的车辆外围监视设备的示意配置的方框图。该图中所示的车辆外围监视设备包括摄像机单元101、模/数(A/D)转换单元102、帧存储器单元103、图像合成单元104、数/模(D/A)转换单元105、显示器106、变换表107和视点变化使用参数供应(viewpoint changing useparameter supplying)单元108。摄像机单元101包括多个摄像机C1到Cn。模/数转换单元102和帧存储器103也相应地包括模/数转换器AD1到ADn和帧存储器FM1到FMn，其个数等同于摄像机C1到Cn的个数。

由摄像机C1到Cn所拾取的图像被相应地存储在帧存储器FM1到FMn中。变换表107是用于失真校正的几何变换的ROM。视点变化使用参数供应单元108向图像合成单元104提供视点变化使用参数，以动态地改变视点变化。图像合成设备104由CPU或DSP(数字信号处理器)构成。图像合成设备104基于变换表107中的几何变换表来校正自摄像机C1到Cn获得的图像的失真，并基于自视点变换参数供应单元108提供的视点变换参数进行用于变换的地址计算。

在该方法中，对视点位置来说不变的、用于失真校正的变换表是预先计算的以构成该ROM。对于其变换规则是根据起始点而变化的视点变换/合成，基于从视点变换使用参数供应单元108提供的参数，连续地进行用于变换的地址计算。这样，通过动态地改变视点位置，可以根据驾驶状况，在安装于车辆内部的显示器106上显示最佳合成图像。

专利参考文件1：JP-A-58(Showa)-110334

专利参考文件2：JP-A-2001-339716

发明内容

本发明所要解决的问题

同时，考虑合成图像的图像质量，通过利用合成图像和输入图像之间的、非1像素对1像素而是1像素对多像素的对应关系而插补/产生合成图像，可以改善图像质量。在此情况下，如果二维地考虑输入图像，为了获得合成图像的一个像素，则需要X方向和Y方向的每个方向的两个像素，即总共四个像素。相应地，增加了存取帧存储器的数量。因为帧存储器中的存取的带宽影响生成成本，因此，重要的是如何以有限的存取带宽改善图像质量。具体地，有一种将图像质量的改善限定在合成图像的特定部分的技术，和另一种如果插补比例高的话无需插补读出一个像素的技术。但是，在这两种技术中，整个帧存储器的存取数量根据虚拟视点的位置而变化。

但是，在传统图像合成设备中，没有考虑由于虚拟视点的动态改变造成的对帧存储器的存取数量的增加或减少。因此，由于在帧存储器中存取带宽中的不足而导致的读出图像数据的失败，图像可能被丢失。另外，如果载入线存储器(line memory)，在先前线的时刻所读出的图像会被不利地显示。附带地，在NTSC(国家电视标准委员会)系统的情况下，因为在隔行扫描中的时间轴在偶数线和奇数线是不同的，例如，即使在同一图像中输出两条偶数线，对应于其间的奇数线的不同图像存在，以至于合成的图像变得不自然。

考虑到上述情况完成了本发明。本发明的一个目的是为了提供一种图像合成设备和图像合成方法，其在即使虚拟视点在动态地改变的情况下也能精确地显示合成图像。

解决问题的手段

上述目的能通过下列配置和方法来实现。