[发明专利]用于360度视频的混合图形及像素域架构

权利要求书

1.一种经配置以处理视频数据的设备，所述设备包括：

存储器，其经配置以存储所述视频数据；

一或多个处理器，其经配置以在像素域中编码所存储的视频数据的一部分以产生像素域视频数据，其中，所述像素域视频数据包括各自具有360视频图像的一部分的多个图块；

第一图形处理单元，其经配置以在图形域中处理所述视频数据以产生图形域视频数据，其中所述图形域视频数据包括具有所述360视频图像的全部的纹理；以及

接口，其用以发射包含具有所述360视频图像的所述全部的所述纹理的所述图形域视频数据及包含所述多个图块的子集的所述像素域视频数据的子集，

其中，所述一或多个处理器进一步经配置以将所述视频数据拼接在一起以形成等矩形画布，且其中，所述第一图形处理单元进一步经配置以将所述等矩形画布转换为所述纹理且在球体内部显现所述纹理，

其中，所述第一图形处理单元经配置以经由所述接口以第一帧率发射所述纹理，且其中所述一或多个处理器进一步经配置以经由所述接口以大于所述第一帧率的第二帧率发射所述像素域视频数据的所述子集，并且

其中，所述第一图形处理单元经配置以经由所述接口以第一分辨率发射所述纹理，且其中，所述一或多个处理器进一步经配置以经由所述接口以大于所述第一分辨率的第二分辨率发射所述像素域视频数据的所述子集。

2.根据权利要求1所述的设备，其中，所述一或多个处理器经配置以将所述等矩形画布映射到立方图或金字塔形投影中的一者，并以多种分辨率编码所述多个图块，且其中，所述多个图块的所述子集在用户视野内。

3.根据权利要求2所述的设备，其中，所述一或多个处理器经配置以确定所述用户的运动适应性，并基于所确定的所述用户的运动适应性来确定所述视野。

4.根据权利要求2所述的设备，其中，所述一或多个处理器经配置以确定所述用户的运动适应性，基于所确定的所述用户的运动适应性来确定所述视野，且基于经确定的视野来调适环绕声视频。

5.根据权利要求3所述的设备，其中，所述一或多个处理器经配置以在第三分辨率下基于所述运动适应性发射所述图块子集中处于所述视野的中心的图块，且在低于所述第三分辨率的第四分辨率下发射所述图块子集中在所述视野内但不在所述视野的所述中心的图块。

6.一种经配置以处理视频数据的设备，所述设备包括：

存储器，其经配置以存储包括像素域视频数据及图形域视频数据的视频流；

一或多个处理器，其经配置以将所存储的视频流剖析成图形流及音频-视频流，并对所剖析的视频流进行解码，其中，所解码的视频流包括像素域数据，所述像素域数据包含各自具有360视频图像的一部分的多个图块，且其中，所述多个图块总共包含少于所述360视频图像的全部；

传感器，其用以感测用户的运动适应性；及

图形处理单元，其经配置以利用来自所述图形流的纹理信息在球面表面上产生画布，并基于所感测的所述用户的运动适应性来显现视野，其中所述纹理信息包含所述360视频图像的所述全部，

其中，在所述图形流中的所述纹理信息是以第一帧率存在于所述图形流中的，并且所述像素域数据是以大于所述第一帧率的第二帧率存在于所解码的视频流中的，

其中，所述纹理信息是采用第一分辨率的，且所述像素域数据是采用大于所述第一分辨率的第二分辨率的。

7.根据权利要求6所述的设备，其中，所述一或多个处理器经配置以对处于所述用户的所述视野内的所述多个图块进行解码，对所述多个图块中是低分辨率图块的图块和所述多个图块中是高分辨率图块的图块进行上采样，并组合所述低分辨率图块和所述高分辨率图块以形成单一图像覆盖。

8.根据权利要求7所述的设备，其中，所述一或多个处理器经配置以基于所述用户的经感测运动适应性来形成所述单一图像覆盖。

9.根据权利要求8所述的设备，其中，所述一或多个处理器经配置以基于确定所述用户的所述经感测运动适应性导致经上采样图块在所述视野外而不形成所述单一图像覆盖。