[发明专利]具有非对称下采样和机器学习的用于沉浸式视频的编码方案

权利要求书

1.一种对沉浸式视频进行编码的方法，所述方法包括：

接收(110)源视频数据，所述源视频数据包括多个源视图，每个源视图包括纹理数据和深度数据；

分析(120)所述源视频数据以选择用于处理所述源视频数据的配置；

处理所述源视频数据以生成经处理的源视频数据，所述处理包括根据所选择的配置来对所述源视图中的一个或多个源视图进行下采样(140)；以及

对所述经处理的源视频数据进行编码(150)以生成视频比特流和元数据比特流，

其中，所述视频比特流包括编码的纹理数据和编码的深度数据，并且所述元数据比特流包括用于辅助解码器对所述视频比特流进行解码的元数据，其中，所述元数据描述在所述一个或多个源视图上执行的处理的配置，并且

其中，所述分析(120)包括：

分析所述源视图之间的视觉内容的相似性；

将第一下采样因子分配给第一视图；

将第二下采样因子分配给第二视图；以及

将第三下采样因子分配给第三视图，

其中，如果所述第一视图与所述第二视图之间的相似性大于所述第一视图与所述第三视图之间的相似性，则所述第二下采样因子高于所述第三下采样因子。

2.根据权利要求1所述的方法，其中，所述分析包括：

基于所述源视频数据获得(122)至少一个参考视图，

根据多种不同的配置来对所述源视图中的所述一个或多个进行滤波(130)和下采样(140)，

针对所述多种不同的配置中的每种配置：

对相应的经处理的源视频数据进行编码(150)以生成候选视频比特流；

从所述候选视频比特流中对所述多个源视图中的一个或多个源视图进行解码(124)；

根据经解码的一个或多个源视图来重建(126)至少一个测试视图，所述至少一个测试视图对应于所述至少一个参考视图；以及

将经重建的测试视图与所述参考视图进行比较(128)，

所述分析(120a)还包括基于所述比较的结果来选择所述配置，

所述方法还包括选择与所选择的配置相关联的候选视频比特流作为视频比特流。

3.根据前述权利要求中的任一项所述的方法，还包括使用机器学习算法设计(129)重建滤波器，

其中，所述重建滤波器能够由解码器在对一个或多个经解码的视图进行上采样和滤波时使用，并且

所述元数据还包括对所述重建滤波器的描述。

4.如权利要求3所述的方法，包括：

基于所述源视频数据获得(122)至少一个参考视图，

从所述视频比特流中对所述多个源视图中的一个或多个源视图进行解码(124)，以及

定义与所述参考视图相对应的测试视图，所述测试视图是根据所述经解码的一个或多个源视图重建的(126)，

其中，设计所述重建滤波器包括使用所述机器学习算法训练所述重建滤波器的滤波器系数，以便减小所述测试视图与所述参考视图之间的误差。

5.一种对沉浸式视频进行解码的方法，所述方法包括：

接收(210)视频比特流和元数据比特流，其中，所述视频比特流包括针对多个源视图中的每个源视图的编码的纹理数据和编码的深度数据，并且所述元数据比特流包括用于辅助对所述视频比特流的解码的元数据；

获得要渲染的至少一个目标视图的视口参数；

从所述视频比特流中对所述多个源视图中的至少两个源视图进行解码(220a)；以及

基于所获得的视口参数，根据经解码的至少两个源视图重建所述至少一个目标视图，

其中，所述元数据描述在对所述一个或多个源视图进行编码时执行的下采样的配置，

其中，所述方法包括，针对经解码的所述至少两个源视图中的每个源视图，基于所述视口参数来合成(225)合成目标视图，并且

其中，重建所述至少一个目标视图包括根据所述元数据中描述的所述配置，对所述合成目标视图进行上采样(232、234)、滤波(242、244)和组合(260)。