[发明专利]图像处理装置和图像处理方法

说明书

提供了一种可以使用完全球面图像生成来自预定视点的高清晰度的纹理图像的图像处理设备和图像处理方法。绘制单元使用以下来生成来自预定视点的显示图像：第一层图像，其包括完全球面图像的纹理图像和将指示从纹理图像的视点至像素中的每一个中的对象的直线的距离的值作为像素值的深度图像；以及第二层图像，其包括第一层图像的视点处的遮挡区域中的纹理图像和与遮挡区域中的纹理图像对应的深度图像。例如，本公开内容可以应用于根据完全球面图像生成来自预定视点的显示图像的家庭服务器等。

技术领域

本发明内容涉及图像处理装置和图像处理方法，并且特别地涉及使得可以使用全向图像在预定视点处生成高图片质量的纹理图像的图像处理装置和图像处理方法。

背景技术

存储装置可用于生成全向图像，其中用多个相机成像的沿水平方向围绕360度并且沿竖直方向围绕180度的拾取图像被映射成2D图像(平面图像)并且编码和存储所生成的全向图像(例如，参见专利文献1)。

此外，再现装置可用于对由存储装置存储的全向图像的编码流进行解码并且使用作为解码结果获得的全向图像显示在观看者的观看范围内的纹理图像。当观看者从作为3D模型内部的一个点的视点沿视线方向观看全向图像粘贴到的诸如球体、立方体等的3D模型的表面时，如刚才描述的这样的再现装置显示在观看者的观看范围内的纹理图像。因此，再现了来自预定视点的观看者的观看范围内的拾取图像。

引用列表

专利文献

专利文献1

日本专利特开第2006-14174号

发明内容

本技术问题

然而，在生成时的视点和在全向图像的再现时的视点彼此不同的情况下，在再现时的视点处的观看者的观看范围中的生成的纹理图像包括在全向图像的生成时的视点的遮挡区域。因此，在再现时的视点处的观看者的观看范围内的纹理图像的图像质量降低。遮挡区域是被前方的成像对象隐藏的后方中的成像对象的区域。

鉴于如上所述的这样的情况作出了本公开内容并且使得可以使用全向图像在预定视点处生成高图片质量的纹理图像。

问题的解决方案

本公开内容的第一方面的图像处理装置是包括图像生成部的图像处理装置，该图像生成部被配置成使用以下来生成给定视点的纹理图像：第一层图像，其包括全向图像的纹理图像和深度图像，在所述深度图像中，将指示从纹理图像的视点至像素中的每一个处的成像对象的直线的距离的值作为像素中的每一个的像素值；以及第二图像，其包括第一层图像的视点处的遮挡区域中的纹理图像和与遮挡区域中的纹理图像对应的深度图像。

根据本公开内容的第一方面的图像处理方法与根据本公开内容的第一方面的图像处理装置对应。

本公开内容的第一方面中，使用以下来生成给定视点的纹理图像：第一层图像，其包括全向图像的纹理图像和深度图像，在所述深度图像中，将指示从纹理图像的视点至像素中的每一个处的成像对象的直线的距离的值作为像素中的每一个的像素值；以及第二图像，其包括第一层图像的视点处的遮挡区域中的纹理图像和与遮挡区域中的纹理图像对应的深度图像。

本公开内容的第二方面的图像处理装置是以下图像生成部，该图像生成部被配置成生成以下：第一层图像，其包括全向图像的纹理图像和深度图像，在所述深度图像中，将指示从纹理图像的视点至像素中的每一个处的成像对象的直线的距离的值作为像素中的每一个的像素值；以及第二图像，其包括第一层图像的视点处的遮挡区域中的纹理图像和与遮挡区域中的纹理图像对应的深度图像。

根据本公开内容的第二方面的图像处理方法与本公开内容的第二方面的图像处理装置对应。