[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本发明涉及一种图像处理装置和图像处理方法，更具体地讲，涉及一种被构造成能够产生高质量视点合成图像的图像处理装置和图像处理方法。

背景技术

已有产生任意视点的图像的视点合成（view synthesis）技术。该视点合成技术是一种从深度图像（深度信息）和N个视点的2D图像产生M（>N）个视点的2D图像的技术。

将参照图1描述视点合成技术的概要。

如图1所示，利用视点合成技术，输入由2D图像和深度图像构成的输入图像1。然后，利用输入图像1进行视点合成，产生视点合成图像2，所述视点合成图像2为比输入图像1的相机位置更靠内和靠外的视点的2D图像。

在图1中的示例中，从两个视点的输入图像1产生六个视点的视点合成图像2。两个视点的输入图像1和六个视点的视点合成图像2产生总共八个视点的图像。

在实际应用中，视点合成技术与压缩技术结合使用。将视点合成技术与压缩技术结合的方式的示例性构造示出在图2中。

在图2中的系统中，N个视点的2D图像11和N个视点的深度图像12被输入到多视点视频编码装置13中。

多视点视频编码装置13以高级视频编码（AVC）格式或多视点视频编码（MVC）格式对N个视点的2D图像11和N个视点的深度图像12进行编码，并将它们提供给多视点视频解码装置14。

多视点视频解码装置14取得从多视点视频编码装置13提供的编码的N个视点的2D图像11和N个视点的深度图像12，以与AVC格式或MVC格式对应的格式对它们进行解码，并将它们提供给视点合成装置15。

视点合成装置15使用作为多视点视频解码装置14解码的结果而获得的N个视点的2D图像11和深度图像12，以产生（M-N）个视点的视点合成图像。视点合成装置15输出由N个视点的2D图像11和（M-N）个视点的视点合成图像构成的M个视点的2D图像，作为M个视点的重建2D图像16。

同时，例如，在专利文献1中描述了对多视点的图像数据进行编码和解码的方法。

引用列表

专利文献

专利文献1：第2008-182669号日本未审查专利申请公报

发明内容

技术问题

利用图2中的系统，由于从少数视点的图像产生多数视点的图像，所以在视点合成图像中出现大量的丢失信息。具体地讲，在产生比输入图像的相机位置更靠外的视点的图像的情况下，关于遮挡区域的信息完全丢失。在现有技术中，使用周围的画面内信息（in-picture information）来插值出这种遮挡区域。然而，画面内插值能力存在限制，并且视点合成图像的质量不够高。

根据这种情况设计了本发明，并且本发明被构造成能够产生高质量视点合成图像。

问题的解决方案

根据本发明的第一方面的图像处理装置是这样一种图像处理装置，该图像处理装置设置有：接收装置，接收残差信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置的2D图像之间的差；编码装置，对基准2D图像进行编码以产生编码流；和发送装置，发送接收装置接收的残差信息、所述深度信息以及编码装置产生的编码流。

根据本发明第一方面的图像处理方法对应于根据本发明第一方面的图像处理装置。

在本发明的第一方面中，接收残差信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置处的2D图像之间的误差。基准2D图像被编码以产生编码流。残差信息、深度信息和编码流被发送。

根据本发明第二方面的图像处理装置是这样一种图像处理装置，该图像处理装置设置有：接收装置，接收残差信息和深度信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置的2D图像之间的误差；解码装置，对作为对基准2D图像进行编码的结果而获得的编码流进行解码；产生装置，使用解码装置解码的基准2D图像和接收装置接收的深度信息来产生视点合成图像；和残差信息补偿装置，将接收装置接收的残差信息添加到产生装置产生的视点合成图像中。

根据本发明第二方面的图像处理方法对应于根据本发明第二方面的图像处理装置。