[发明专利]用于图像处理的方法和系统

说明书

描述了用于捕获球面内容的系统和方法。系统和方法可以包括：确定用多个相机捕获的多个图像中的其中将二维数据变换为三维数据的区域；计算该区域中的部分像素的深度值；生成球面图像，该球面图像包括该区域中的该部分像素的图像数据；使用图像数据在图像处理系统生成的计算机图形对象的三维空间中构造三维表面；使用所述图像数据生成到所述计算机图形对象的表面的纹理映射；以及发送球面图像和纹理映射，用于在头戴式显示设备中显示。

相关申请的交叉引用

本申请要求2011年9月15日提交的题为“General Spherical Capture Methods”的美国非临时专利申请第15/266,602号的优先权并且是其继续申请，该美国非临时专利申请第15/266,602号又要求2015年9月16日提交的题为“General Spherical CaptureMethods”的美国临时专利申请第62/219,534号的优先权，上述两个美国申请的全部内容通过引用并入本文。

技术领域

本说明书一般涉及一般球面捕获方法以及用于捕获和处理二维(2D)和三维(3D)图像的方法和设备。

背景技术

球面图像可以提供场景的360度视图。可以使用特定的投影格式捕获和定义这些图像。例如，可以以等距柱状(equirectangular)投影格式定义球面图像，以提供相对于图像的宽度和高度具有2:1宽高比的单个图像。在另一示例中，可以以立方投影格式定义球面图像，以提供重新映射到立方体的六个面的图像。

发明内容

一个或多个计算机的系统可以被配置为通过在系统上安装有软件、固件、硬件或它们的组合来执行特定的操作或动作，所述软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使装置执行动作。

在一个一般方面，指令可以包括计算机实现的方法，其包括确定用多个相机捕获的多个图像内的将二维数据转换为三维数据的区域。至少部分地基于在头戴式显示器检测到的用户输入，可以自动地执行将二维数据变换为三维数据的区域的确定。用户输入可以包括头转动，并且三维数据可以用于在与视图对应的多个图像中的至少一个中生成三维部分。在另一示例中，用户输入可以包括眼睛注视方向的改变，并且三维数据可以用于在用户的视线上的多个图像中的至少一个中生成三维部分。

该方法还可以包括计算该区域中的一部分像素的深度值并生成球面图像。球面图像可以包括该区域中的该部分像素的图像数据。在一些实现方式中，该部分像素被表示在计算机图形对象的表面上，该计算机图形对象的半径等于与该区域中的该部分像素中的一个或多个相关联的对应的深度值。该方法还包括使用图像数据在由图像处理系统生成的计算机图形对象的三维空间中构建三维表面，并且使用图像数据生成到计算机图形对象的表面的纹理映射。纹理映射可以包括图像数据到计算机图形对象的表面的映射。该方法还可以包括发送用于在头戴式显示设备中显示的球面图像和纹理映射。该方面的其他实施例包括在一个或多个计算机存储设备上记录的相应计算机系统、设备和计算机程序，每个计算机系统、设备和计算机程序被配置为执行方法的动作

在一些实现方式中，该方法还可以包括生成与该区域相关联的额外球面图像和纹理映射，通过组合图像数据的一部分和球面图像来生成左眼视图，通过生成额外图像数据并将该额外图像数据和该额外球面图像组合来生成右眼视图，以及在头戴式显示设备中显示左眼视图和右眼视图。图像数据可以包括该区域中的该部分像素的至少一些的深度值数据和RGB数据。

在一些实现方式中，多个图像包括视频内容，并且图像数据包括与该部分像素相关联的RGB数据和深度值数据。在一些实现方式中，该方法还包括使用图像数据将该区域的二维版本转换为该区域的三维版本，并且提供该区域的三维版本用于在头戴式显示设备中显示。在一些实现方式中，多个图像被安装在球形相机套装上的多个相机捕获。