[发明专利]用于捕获、流传输和/或回放内容的方法和装置

说明书

技术领域

本发明涉及用于捕获、流传输和/或内容(例如，可用来模拟3D环境的内容)的回放的方法和装置。

背景技术

旨在提供沉浸式体验的显示设备通常允许用户转动他的头并且体验所显示的场景中的对应变化。头戴式显示器有时支持360度观看，因为用户可以在佩戴头戴式显示器时转动，随着用户的头部位置改变，显示的场景改变。

利用此类设备，当向前看时，应当向用户呈现在相机位置的前面捕获的场景，当用户完全转身时，应当呈现在相机位置后面捕获的场景。虽然用户可以将他的头转到后面，但是在任何给定的时间，由于人在任何给定时间感知有限视野的能力的本质，用户的视野通常被限制到120度或更小。

为了支持360度的观看角度，360度的场景可以利用多个相机来捕获，其中图像被组合以生成将可用于观看的360度场景。

应当理解，360度视图包括比通常为正常电视和许多其它视频应用捕获、编码的简单前向视图多得多的图像数据，在正常电视和许多其它视频应用中，用户没有机会改变用来确定要在特定时间点显示的图像的观看角度。

给定与被流传输的内容相关联的传输约束，例如，网络数据约束，可能不可能向寻求接收内容并与其交互的所有消费者以全高清晰度视频流传输全360度视图。当内容是包括旨在对应于左眼和右眼视图的图像内容以允许3D观看效果的立体内容时，尤其是这种情况。

在立体相机台架的情况下，广角透镜，例如鱼眼相机透镜，可以用来捕获宽的观看区域。虽然一般的透镜几何形状可以是已知的，但是制造差异会导致具有不同光学特性的不同透镜。例如，在单批透镜中生产的两个鱼眼透镜可能具有不同的光学缺陷。在立体图像捕获的情况下，通常使用相机对的单独的相机来捕获单独的左眼视图和右眼视图。由于透镜在用来捕获左眼图像和右眼图像的每个相机上将不同，因此相机光学器件中的差异将导致场景区域的捕获图像中的差异超过从左眼图像和右眼图像之间的相机间距所预期的那些差异。如果在考虑到预期的透镜几何形状而不是单个透镜的实际几何形状的情况下处理图像，这样的差异会导致将在渲染时保留在图像中的、左眼图像和右眼图像中的失真。

在立体系统的情况下，左眼图像和右眼图像之间的差异通常由人类观察者在提供深度信息时进行解释。遗憾的是，由于相机透镜差异而导致的左眼图像和右眼图像之间的非预期差异，向用户提供了不正确的深度线索和/或导致其它图像失真。

鉴于以上讨论，应当理解，需要如下的方法和装置，其可以减少或最小化由可以在立体系统和/或其它类型的系统中使用的相机透镜引入到图像中的失真对图像质量的影响，例如，如可能由回放系统的用户感知到的。

发明内容

描述了用于减少和/或最小化由相机透镜引入的失真的影响的方法和装置。描述了流式装置。还描述了回放装置。该方法和装置特别适于在立体系统中使用，其中例如由于透镜制造缺陷或正常制造变化导致的失真会导致用于捕获场景区域的左眼和右眼视图的透镜之间的差异。

各种特征针对非常适于支持对应于360度观看区域的视频或其它内容的传送(例如，流传输)的方法和装置，但是这些技术非常适于在捕获不覆盖完全360度视图的区域的立体图像的系统中使用。本发明的方法和装置尤其非常好地适于立体和/或其它图像内容的流传输，其中数据传输约束会使得360度内容的传送难以以最大支持的质量水平传送，例如，使用最佳质量编码和最高支持的帧速率。但是，该方法不限于立体内容。

在各种实施例中，使用了具有鱼眼透镜的相机。鱼眼透镜是广角或超广角透镜，其产生强烈的视觉失真，旨在创建宽的全景或半球形图像。不幸的是，由于使用鱼眼透镜导致的失真由于透镜缺陷和/或透镜相对于相机中的传感器的位置之间的差异而可能在透镜之间和/或在相机之间不同。虽然鱼眼透镜非常适于捕获以后可以映射或投影到球体或其它3D模拟环境上的大图像区域，但是从相机之间引入的失真会使得难以可靠地使用由具有鱼眼透镜的相机捕获的图像或者使得难以在一起看由不同透镜捕获的图像。

在其中单独的左眼图像和右眼图像被捕获并且然后在回放期间被呈现以向观看者产生3D效果的立体图像的情况下，用于捕获左眼图像和右眼图像的相机之间的失真和差异如果不解决，那么会是有问题的和/或降低立体图像质量。