[发明专利]用于图像合成的设备及方法

权利要求书

1.一种图像合成设备，包括：

坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；

虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；

视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；

存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且用所述帧存储器中残余的存取带宽，基于由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像，和用于如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则生成指示读操作失败的信息；以及

虚拟视点图像变换装置，用于如果从所述存储器控制装置输出指示任何摄像机图像的读操作失败的信息，用另一图像数据替换由于帧存储器中存取带宽中的不足而不能被所述存储器控制装置读出的摄像机图像。

2.根据权利要求1所述的图像合成设备，其中，所述虚拟视点图像变换装置在不使用不能被所述存储器控制装置读出的摄像机图像的情况下产生合成图像。

3.根据权利要求1所述的图像合成设备，其中，在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素中的部分像素，如果至少一个像素被成功读出，则所述虚拟视点图像变换装置使用该至少一个像素来产生合成图像。

4.一种图像合成设备，包括：

坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；

虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；

视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；

帧存储器存取带宽计算装置，用于基于输入摄像机图像的数目和由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来计算对帧存储器的存储器存取的数量；

存储器存取数据控制装置，用于基于由所述帧存储器存取带宽计算装置计算的存储器存取的数量，来控制所述虚拟视点变换数据的存储器存取数据的数量；以及

存储器控制装置，用于执行对所述帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于其存储器存取数据的数量被存储器存取数据控制装置控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。

5.一种图像合成方法，包括步骤：

准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；

基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；

执行对帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于所述虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像；以及

如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则用另一图像数据来替换不能从帧存储器读出的摄像机图像，由此产生合成图像。

6.根据权利要求5所述的图像合成方法，其中，在不使用由于所述帧存储器中存取带宽中的不足而不能被读出的摄像机图像的情况下，产生合成图像。

7.根据权利要求5所述的图像合成方法。其中在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素中的部分像素，如果至少一个像素被成功读出，则使用该至少一个像素来产生合成图像。

8.一种图像合成方法，包括步骤：

准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；

基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；

基于如此产生的虚拟视点变换数据和输入摄像机图像的数目，计算对帧存储器的存储器存取的数量；

基于如此计算的存储器存取的数量，控制所述虚拟视点变换数据的存储器存取数据的数量；以及

执行对所述帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。