[发明专利]全景视频回放期间的视图相关操作

说明书

本公开描述了在全景视频的重建和渲染方面的创新。例如，全景视频回放系统的视图相关操作控制器接收对应用的视图方向的指示，并且至少部分地基于视图方向来标识输入投影中的全景视频图片的片段。视图相关操作控制器将颜色转换器、视频解码器和/或流控制器的操作限于经标识的片段。以这种方式，全景视频回放系统可以避免执行用以重建全景视频图片的不会被观看的片段的操作。作为另一示例，全景视频回放系统的映射器将输入平板投影中的至少一些采样值朝向视图方向的中心位置重新投影，从而产生输出平板投影，应用可以使用该输出平板投影来生成一个或多个屏幕投影。

背景技术

在通过互联网流式传输视频并且通过Web浏览器或者媒体回放器回放视频时，以数字形式传送视频。在通过许多广播服务、卫星服务和有线电视服务传送视频时，也使用数字视频。实时视频会议通常使用数字视频，并且数字视频在视频捕获期间与大部分智能电话、Web相机和其他视频捕获设备一起使用。数字视频还用于诸如虚拟现实和增强现实的技术，不管视频是在头戴式显示器、移动设备中还是在其他类型的设备中被回放。

全景视频是在中心位置周围的多个方向上的视图被同时记录的视频。所记录的视频可以包括每个方向上的图像内容、或者至少包括在中心位置周围的360度球面中的每个方向上的图像内容，至少包括中心位置上方的一些图像内容以及至少包括中心位置下方的一些内容。全景视频有时被称为360度视频、沉浸式视频或者球面视频。全景视频可以使用全向相机或者指向不同的方向的多个相机的集合来捕获。对于现今的应用，在创建、编辑和传送阶段以及重建和渲染以进行回放的阶段期间以数字形式来处理全景视频。

在回放期间，观看者通常可以控制相对于中心位置的视图方向，潜在地随时间改变观看全景视频的哪个片段。在一些系统中，观看者还可以放大或者缩小，这有效地改变了全景视频的视场。当全景视频被渲染以进行显示时，全景视频的被观看的片段可以被投影到平面图像，这被称为屏幕投影。对于移动设备或者计算机监视器，单个屏幕投影可以被渲染。对于头戴式显示器(或者固定在头戴式带中的移动设备)，全景视频的被观看的片段可以分别被投影到针对左眼和右眼的两个屏幕投影。

当计算机系统重建和渲染全景视频时，可能会浪费资源来重建未被观看的图像内容。例如，存储器可能用于存储全景视频的未被观看的区域的采样值，并且处理周期可能用于确定未被观看的采样值和其在不同的处理阶段的位置。

发明内容

总言之，具体实施方式呈现了在全景视频的重建和渲染方面的创新。在一些示例实施方式中，这些创新帮助全景视频回放系统避免花费诸如存储器和处理周期等资源来重建未被观看的图像内容。备选地，这些创新帮助全景视频回放系统投入可用资源以改进被渲染的图像内容的质量。

根据本文所描述的创新的一个方面，计算机系统实施全景视频回放系统，该全景视频回放系统包括流控制器、输入缓冲器、视频解码器、颜色转换器、映射器和视图相关操作控制器。流控制器被配置为请求针对输入投影中的全景视频图片的至少一个片段的编码数据。输入投影可以例如是等量矩形投影或者立方图投影。输入缓冲器被配置为存储编码数据，并且视频解码器被配置为对编码数据中的至少一些编码数据进行解码，从而产生输入投影中的全景视频图片的至少一个片段的采样值。颜色转换器被配置为将由视频解码器产生的采样值中的至少一些采样值从第一颜色空间转换到第二颜色空间。

映射器被配置为将经颜色转换的采样值中的至少一些采样值映射到输出投影。输出投影可以是屏幕投影，在这种情况下，应用可以仅使用屏幕投影来进行渲染。或者，输出投影可以是等量矩形投影或者立方图投影，在这种情况下，应用可以在渲染之前对输出投影执行进一步的映射操作。