[发明专利]用于360度视频的混合图形及像素域架构

说明书

在用于处理视频数据的方法和设备中，一或多个处理器经配置以在像素域中编码所存储视频数据的一部分以产生像素域视频数据，第一图形处理单元经配置以在图形域中处理视频数据以产生图形域视频数据，且接口发射所述图形域视频数据及所述像素域视频数据。一或多个处理器经配置以将所述视频数据剖析成图形流及音频‑视频流且对所述视频数据进行解码，传感器感测用户的运动适应性，且第二图形处理单元经配置以利用从所述图形流接收的纹理信息在球面表面上产生画布，并基于所述感测到的所述用户的运动适应性而显现视野。

技术领域

本申请案要求保护2016年5月6日申请的美国临时申请案第62/332,918号的权益，其每一者的全部内容以引用的方式并入本文中。

本发明涉及360度视频的译码及发射。

背景技术

由于当前360度视频技术，用户所体验的视频环境已变得与视频本身的主题一样重要。此类360视频技术可涉及从360度摄像机或网站到实时视频显示器(例如虚拟现实(VR)头戴式显示器(HMD))的360视频图形的实时流式发射及/或360视频的实时流式发射。VR HMD允许用户通过转头改变视角来体验在其周围发生的事情。为了创建360度视频，可使用特殊的相机集合来同时记录所有360度场景，或多个视图(例如视频及/或计算机产生的图像)可拼接在一起以形成图像。

发明内容

大体来说，本发明描述用于360视频数据的流式发射的技术。在一个实例中，本发明提出视频编码器，其经配置以在像素域中编码360视频数据的一部分以产生像素域视频数据；第一图形处理单元，其用以在图形域中处理360视频数据以产生图形域视频数据；及接口，其用以发射图形域视频数据及像素域视频数据以用于流式发射360视频数据。

在一个实例中，本发明提出一种经配置以处理视频数据的设备。存储器经配置以存储视频数据，一或多个处理器经配置以在像素域中编码所存储视频数据的一部分以产生像素域视频数据，且第一图形处理单元经配置以在图形域中处理视频数据以产生图形域视频数据。接口经配置以发射图形域视频数据及像素域视频数据作为视频流。

在另一个实例中，本发明进一步提出一种经配置以处理视频数据的设备。存储器经配置以存储包括像素域视频数据及图形域视频数据的视频流，且一或多个处理器经配置以将所存储视频流剖析成图形流及音频-视频流，并对所述视频流进行解码。传感器感测用户的运动适应性，且图形处理单元经配置以利用来自图形流的纹理信息在球面表面上产生画布(canvas)，并基于用户的经感测运动适应性而显现视野。

在另一实例中，处理视频数据的方法包括：存储视频数据；在像素域中编码视频数据的一部分来产生像素域视频数据；在图形域中处理视频数据以产生图形域视频数据；及发射图形域视频数据及像素域视频数据。在另一实例中，处理视频数据的方法包括：存储包括像素域视频数据及图形域视频数据的视频流；将所存储视频流剖析成图形流及音频-视频流并对所述视频流进行解码；感测用户的运动适应性；利用来自图形流的纹理信息在球面表面上产生画布；及基于用户的经感测运动适应性而显现视野。

在一个实例中，本发明提出流式发射360视频数据的方法，所述方法包括：在图形域中流式发射360视频数据；在像素域中编码360视频数据的至少一个部分；及发射图形域中的流式360视频数据及像素域中的360视频数据的至少一个部分。

在另一个实例中，本发明进一步提出提取传感器数据及处理所提取的传感器数据来确定用户的运动适应性。在另一实例中，本发明进一步提出，在图形域中流式发射360视频数据包括将图形域中的360视频数据转换为纹理以供图形处理器执行，以便在球体内部显现360视频数据，施加用于同步的时戳及实时协议囊封视频数据以供传送。在另一实例中，本发明进一步提出，在像素域中流式发射360视频数据的至少一部分包括将360视频数据映射到立方图、等矩形及金字塔形投影中的一者，在各种分辨率下将360视频数据的至少一个部分编码成多个图块，及基于用户的经确定运动适应性来流式发射多个图块的一部分。