[发明专利]用于编码、传递和/或使用图像的方法和装置

说明书

本发明描述了用于捕获、传递和使用图像数据以支持虚拟现实体验的方法和装置。以高分辨率但比用于回放的帧速率低的帧速率捕获图像，例如帧。将内插应用于捕获帧以生成内插帧。捕获帧连同内插帧信息被传递到回放设备。捕获帧和内插帧的组合对应于高于图像捕获速率的第二帧回放速率。相机以高图像分辨率操作，但帧速率慢于可用相同相机以较低分辨率捕获的图像。在递送到用户设备之前执行内插，其中基于运动和/或透镜FOV信息选择要内插的片段。与捕获帧数据相比，传递相对少量的内插帧数据以用于有效带宽使用。

相关专利申请

本申请要求2019年4月24日提交的美国临时专利申请序列号62/838,300的申请日的权益，该美国临时专利申请据此全文以引用方式明确并入。

技术领域

本发明涉及用于为虚拟现实系统(例如，支持在虚拟现实设备上回放的系统，例如，其可渲染2D或3D图像内容)编码并传递带有运动的图像的方法和装置。

背景技术

高质量图像捕获对于实际虚拟现实应用可能是重要的。遗憾的是，以高帧速率捕获高分辨率图像可能涉及使用极其昂贵的高速高分辨率相机，由于许多应用的成本原因，这可能是不实际的。

虽然捕获高分辨率图像以支持虚拟现实是期望的，但是考虑到可用于将图像传输到回放设备的通信网络的带宽约束，整体传递大量高分辨率图像可能存在通信问题。

图像捕获和数据传输约束的问题是非立体系统在3D视频和3D虚拟现实系统的上下文中变得特别严重的问题，其中通常需要传递单独的左眼和右眼图像数据。

在3D虚拟现实系统的情况下，左眼图像内容和右眼图像内容之间的差异是通常向人类观察者传达被观看对象的深度感和3D性质的内容。因此，对于实际深度体验，通常重要的是捕获和保留图像细节。

鉴于上述情况，应当理解，需要用于支持将高分辨率图像用于虚拟现实应用的方法和装置。如果图像捕获速率不需要匹配图像回放速率以允许在以高细节级别捕获图像时使用可能不支持所需图像回放速率的相机，则将是期望的。此外，需要可支持回放和允许回放系统的用户享受体验的足够细节信息的方法和装置。希望方法和/或装置中的至少一些解决将图像内容传递到具有有限带宽的回放设备以用于递送此类内容的问题，并且希望方法中的至少一些在内容可包括运动中的对象(诸如在球或其他对象可能正在移动的体育事件中可能预期的)的情况下是可用的。所有实施方案不需要解决所有上述问题，其中解决一个或多个所讨论的问题的实施方案和特征是有用且期望的。

发明内容

本发明描述了用于捕获、传递和使用图像数据以支持虚拟现实体验的方法和装置。以高分辨率但比要支持回放的帧速率更低的帧速率捕获图像，例如帧。将内插应用于捕获帧。捕获帧连同内插帧信息被传递到回放设备。捕获帧和内插帧的组合对应于高于图像捕获速率的第二帧回放速率。通过以高图像分辨率但比可用相同相机以较低分辨率捕获图像更慢的帧速率操作相机，保留了细节。在递送到用户设备之前执行内插，其中基于运动和/或透镜视场(FOV)信息选择要内插的片段。与捕获帧数据相比，传递相对少量的内插帧数据以有效地使用带宽。

虽然在本发明内容中讨论了各种特征，但所有实施方案不需要包括发明内容中讨论的所有特征。因此，本发明内容中对一个或多个特征的讨论或提及并非旨在暗示所讨论的一个或多个特征在所有实施方案中是必需的或必要的。

所描述方法和装置具有优于其他方法的若干优点。该方法在某些HMD(头戴式显示器)上播放沉浸式内容时解决并避免了一些更严重的运动伪影，这些伪影可能在内容限于以捕获帧速率更新时发生。通过理解伪影的性质，例如，它们是由于用于捕获图像部分的透镜部分的运动和/或形状而创建的，该方法通过选择性地更新高运动片段和/或对应于经受高失真的相机透镜的部分的片段来解决降低此类伪影的风险，而无需配置多个VR(虚拟现实)系统。