[发明专利]多视图视频编码方法和装置

说明书

相关申请的交叉引用

本申请要求于2006年3月29日申请的序号为60/787092的美国临时申 请的权益，此处引入其全部内容，可供参考。该申请还与两个其它申请密切 相关，该两个申请与本申请同时申请并具有共同的发明人和共同的代理人(代 理人案卷号PU070031和PU070032)，此处引入每个申请的全部内容，可供参 考。

技术领域

本发明总的来说涉及视频编码和解码，更具体地说，涉及在多视图视频 编码(multi-viewvideo coding)系统中使用的方法和装置。

背景技术

在多视图视频编码(MVC)当前的实施方案中，该MVC服从国际标准化组 织/国际电子技术委员会(ISO/IEC)动画专家组-4(MPEG-4)部分10高级视 频编码(AVC)标准/国际通信联盟-通信段(ITU-T)H.264推荐标准(下文称 之为“MPEG-4AVC标准”)，没有采取措施来识别特定的视图和将摄像机参 数以信号表示。由于几个原因需要这一视图信息。视图可扩展性、视图随机 存取、并行处理、视图生成和视图合成都是利用视图信息的多视图编码要求。 此外，这些要求中的几个要求还利用在标准化的进程中当前上未通过的像机 参数。

已经提出一种方法能够在多视图压缩位流中进行高效随机存取。在所提 出的方法中，定义V画面类型和视图依赖性补充增强信息(SEI)消息。在提出 的V画面类型中要求的特征是V-pictures画面对于在同一个摄像机中的其它 画面不应当具有时间依赖性(dependency)，并且仅同时可以根据在其它摄像 机中的画面预测。所提出的视图依赖性补充增强信息消息将精确地描述V画 面以及画面的在先的和随后的序列可能依赖于哪些视图。下面是所提出的变 化的细节。

关于V画面语法和语义，关于MPEG-4AVC标准的特定的语法表扩展包含 对应于V画面的、类型14的网络抽象层(Network Abstraction Layer、NAL) 单元。此外，将V画面类型定义具有如下的语义：

V画面：一种编码的画面，其中所有片仅参考具有相同时间索引的片(即， 仅在其它视图中的片而不是在当前视图中的片)。当要输出或显示V画面时， 其还可以促使解码处理标记来自相同视图的、不是IDR画面或V画面的、并 且按照输出次序超前V画面的所有画面，将其标记为“未用于基准”。每个V 画面应与在相同NAL中发生的视图依赖性(View Dependancy)SEI消息相关 联。

关于视图依赖性补充增强信息消息和语义，按照如下语法定义视图依赖 性补充增强信息消息：

view_dependency(payloadSize){

   num_seq_reference_viewsue(v)

   seq_reference_view_0ue(v)

   seq_reference_view_1ue(v)

   seq_reference_view_Nue(v)

   num_pic_reference_views ue(v)

   pic_reference_view_0ue(v)

   pic_reference_view_1ue(v)

   pic_reference_view_Nue(v)

}

其中num_seq_reference_views/num_pic_reference_views代表可以用 作当前序列/画面的基准的潜在视图的数目，seq_reference_view_i/ pic_reference_view_i代表第i个基准视图的视图数目。

与视图依赖性补充增强信息消息相关联的画面将仅参考由 pic_reference_view_i描述的指定视图。类似地，按照那个视图的输出次序 的所有随后的画面，直到在那个视图的下一个视图依赖性补充增强信息消息 为止，将仅参考由seq_reference_view_i描述的指定视图。

视图依赖性补充增强信息消息将与每个瞬时解码刷新(Instantaneous Decoding Refresh、IDR)画面和V画面相关联。