[发明专利]图像处理设备和图像处理方法

说明书

本公开涉及能够基于二维图像数据和深度图像数据生成具有高精度的三维数据的图像处理设备和图像处理方法。基于第一视点组的二维图像数据和第二视点组的二维图像数据，坐标变换数据生成单元生成用于将第一视点组的第一三维坐标系中的三维位置转换为第二视点组的第二三维坐标系中的三维位置的坐标变换数据。元数据添加单元发送：包括第一视点组的深度图像数据和二维图像数据的编码数据，深度图像数据表示每个像素在成像对象的深度方向上的位置；包括第二视点组的深度图像数据和二维图像数据的编码数据；以及包含由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息。本公开适用于例如合成设备等。

技术领域

本公开涉及图像处理设备和图像处理方法，并且具体涉及如下图像处理设备和图像处理方法：通过该图像处理设备和图像处理方法，可以基于二维图像数据和深度图像数据来生成具有高精度的三维数据。

背景技术

在多视点立体声技术中，设计了一种发送系统，其记录、编码、发送、解码和显示三维数据，该三维数据包括由多个摄像机拍摄的三维对象的三维位置信息和二维图像数据(例如参照非专利文献1)。作为三维数据的编码方法，可以使用MPEG(运动图像专家组)方法等(例如，参见非专利文献2)。

此外，设计了一种发送系统，通过该发送系统，多个不同视点的二维图像数据和包括深度的深度图像数据(二者都是从多个摄像机获得的)被记录、编码、发送、解码并原样显示，深度指示图像拍摄对象的深度方向(垂直于图像拍摄平面的方向)上的像素的位置。作为用于编码二维图像数据和深度图像数据的方法，可以使用MVCD(多视点和深度视频编码)方法、AVC(高级视频编码)方法、HEVC(高效视频编码)方法等。

引用列表

非专利文献

非专利文献1

Ming Chuang,Pat Sweeney,Don Gillett,Dennis Evseev,David Calabrese,Hugues Hoppe,Adam Kirk,Steve Sullivan,“High-Quality Streamable Free-ViewpointVideo,Alvaro Collet,”Microsoft Corporation

非专利文献2

Marius Preda,“MPEG Graphics Compression Model”MPEG document:N9892,May2008

发明内容

技术问题

然而，在将图像拍摄对象的三维信息作为三维数据发送的情况下，在接收侧需要处理三维数据的高功能的处理单元。

此外，在以由多个摄像机获得的二维图像数据和深度图像数据的形式发送图像拍摄对象的三维信息的情况下，虽然便于接收侧的处理，但是视点处的二维图像数据和深度图像数据的三维坐标系有时不同。在这种情况下，不能基于视点的二维图像数据和深度图像数据生成具有高精度的三维数据。

鉴于如上所述的这种情况做出了本公开，并且本公开的目的是使得可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。

问题的解决方案

根据本公开的第一方面的图像处理设备是如下图像处理设备，包括：坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。