[发明专利]图像生成装置及图像生成方法

权利要求书

1.一种图像生成装置，根据输入图像和与所述输入图像对应的进深图，生成从新视点显示由该输入图像表示的场景的图像，该图像生成装置具备：

像素移位图像生成部，基于所述输入图像和所述进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的图像，该背景边缘图像包括指定边缘像素，该指定边缘像素是包括在所述输入图像中的前景对象物的边缘周边的背景区域的像素；

图像结合部，将所述第2像素移位图像与所述第1像素移位图像结合，以使所述第2像素移位图像中包括的背景区域被包括在空洞中，该空洞是由于使像素移位的处理而在所述第1像素移位图像中产生的没有像素信息的区域；以及

空洞填补部，基于所述结合后的像素移位图像，对所述空洞中包括的像素信息进行补全。

2.如权利要求1所述的图像生成装置，

该图像生成装置还具备背景边缘图像生成部，该背景边缘图像生成部具有：

边缘检测模块，分别检测所述输入图像和所述进深图中包括的边缘；

边缘过滤模块，进行表示所述输入图像中包括的边缘信息的第1边缘图像与表示所述进深图中包括的边缘信息的第2边缘图像的对位；以及

生成模块，基于对位后的所述输入图像中包括的边缘和所述进深图中包括的边缘，将所述输入图像中包括的边缘的像素值，置换为表示从所述进深图上与该边缘的位置对应的位置起预定范围内最里侧的位置的像素的像素值，从而生成所述背景边缘图像。

3.如权利要求2所述的图像生成装置，

所述边缘过滤模块决定第1边缘像素和第2边缘像素，该第1边缘像素在所述第1边缘图像及所述第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素在所述第1边缘图像及所述第2边缘图像的另一方中的所述预定区域内表示边缘，而且与所述第1边缘像素的距离最短，通过使所述第1边缘像素及所述第2边缘像素之中的一方的位置与另一方的位置一致，进行所述第1边缘图像和所述第2边缘图像的对位。

4.如权利要求2或3所述的图像生成装置，

在所述第1边缘图像及所述第2边缘图像中，所述边缘在宽度方向上具有两个以上的像素。

5.如权利要求4所述的图像生成装置，

在所述边缘所具有的宽度方向的像素之中，至少一个像素包括在所述前景对象物中，其他至少一个像素包括在背景区域中。

6.如权利要求2所述的图像生成装置，

所述边缘检测模块具有由坎尼边缘检测器、普瑞维特边缘检测器、索伯尔边缘检测器、拉普拉斯－高斯边缘检测器或其他微分边缘检测器构成的组中包括的边缘检测器。

7.如权利要求1所述的图像生成装置，

所述像素移位图像生成部基于所述进深图和表示所述移位量的增益的至少一个参数，计算所述移位量。

8.如权利要求1所述的图像生成装置，

所述图像结合部通过将所述第1像素移位图像的像素值置换为所述第2像素移位图像的对应的像素值，来将所述第2像素移位图像与所述第1像素移位图像结合。

9.如权利要求1所述的图像生成装置，

所述图像结合部基于像素值的加权平均，将所述第2像素移位图像与所述第1像素移位图像结合。

10.如权利要求1所述的图像生成装置，

所述空洞填补部通过对所述结合后的像素移位图像实施全变差修正处理即TV修正处理，补全所述空洞中包括的像素信息。

11.如权利要求10所述的图像生成装置，

所述空洞填补部在所述TV修正处理中，基于利用附近像素计算出的像素值的变化程度，进行所述像素信息的补全。

12.如权利要求1所述的图像生成装置，

所述空洞填补部还针对由所述空洞填补部补全了空洞后的所述结合后的像素移位图像，实施基于所述边界附近的像素值的类似性和由所述进深图示出的进深度使所述前景对象物的边界变得平滑的处理。