[发明专利]深度信号的编码

说明书

与相关申请的交叉引用

本申请要求2008年4月25日递交的题为“Coding of Depth Signal”的美国临时申请No.61/125,674的权益，特此通过引用将该申请的内容全部并入，用于所有目的。

技术领域

描述了涉及编码系统的实现方式。各种特定的实现方式涉及深度信号的编码。

背景技术

多视角视频编码(Multi-view Video Coding)(例如，H.264/MPEG-4AVC的MVC扩展，或其他标准，以及非标准化方法)是为包括自由视点和3D视频应用、家庭娱乐和监视在内的多种应用服务的关键技术。深度数据可与每个视角相关联并且例如用于视角合成。在这些多视角应用中，所涉及的视频和深度数据的量一般是巨大的。因此，需要帮助提高当前视频编码方案的编码效率的框架。

发明内容

根据一个大方面，利用与图像的经编码的第一部分相关联但不与图像的其他部分相关联的第一部分运动向量来对第一部分解码。第一部分运动向量指示出参考图像中将被用于对第一部分解码的相应部分，并且第一部分具有第一大小。处理第一部分深度值。第一部分深度值为整个第一部分但不为其他部分提供深度信息。利用与图像的经编码的第二部分相关联但不与图像的其他部分相关联的第二部分运动向量来对第二部分解码。第二部分运动向量指示出参考图像中将被用于对第二部分解码的相应部分。第二部分具有不同于第一大小的第二大小。处理第二部分深度值。第二部分深度值为整个第二部分但不为其他部分提供深度信息。

根据另一大方面，视频信号或视频信号结构包括以下片段。包括第一图像片段，用于图像的经编码的第一部分。第一部分具有第一大小。包括第一深度片段，用于第一部分深度值。第一部分深度值为整个第一部分但不为其他部分提供深度信息。包括第一运动向量片段，用于在对图像的第一部分编码时使用的第一部分运动向量。第一部分运动向量与第一部分相关联，但不与图像的其他部分相关联。第一部分运动向量指示出参考图像中将被用于对第一部分解码的相应部分。包括第二图像片段，用于图像的经编码的第二部分。第二部分具有不同于第一大小的第二大小。包括第二深度片段，用于第二部分深度值。第二部分深度值为整个第二部分但不为其他部分提供深度信息。包括第二运动向量片段，用于在对图像的第二部分编码时使用的第二部分运动向量。第二部分运动向量与第二部分相关联，但不与图像的其他部分相关联。第二部分运动向量指示出参考图像中将被用于对第二部分解码的相应部分。

根据另一大方面，利用与图像的第一部分相关联但不与图像的其他部分相关联的第一部分运动向量来对第一部分编码。第一部分运动向量指示出参考图像中将被用于对第一部分编码的相应部分。第一部分具有第一大小。确定第一部分深度值，该第一部分深度值为整个第一部分但不为其他部分提供深度信息。利用与图像的第二部分相关联但不与图像的其他部分相关联的第二部分运动向量来对第二部分编码。第二部分运动向量指示出参考图像中将被用于对第二部分编码的相应部分，并且第二部分具有不同于第一大小的第二大小。确定第二部分深度值，该第二部分深度值为整个第二部分但不为其他部分提供深度信息。将经编码的第一部分、第一部分深度值、经编码的第二部分和第二部分深度值组装到结构化格式中。

一个或多个实现方式的细节在附图和以下描述中记载。即使是按一种特定的方式来描述的，也应清楚实现方式可以按各种方式来配置或体现。例如，一种实现方式可以被执行为方法、或者体现为装置，例如被配置为执行一组操作的装置或者存储用于执行一组操作的指令的装置，或者被体现为信号。结合附图和权利要求考虑以下详细描述，将清楚其他方面和特征。

附图说明

图1是编码器的实现方式的示图。

图2是解码器的实现方式的示图。

图3是视频发送系统的实现方式的示图。

图4是视频接收系统的实现方式的示图。

图5是视频处理设备的实现方式的示图。

图6是具有用于时间预测和视角间预测两者的层次化B图片的多视角编码结构的实现方式的示图。

图7是用于发送和接收具有深度信息的多视角视频的系统的实现方式的示图。

图8是用于在深度(K＝3)的情况下从3个输入视角生成九个输出视角(N＝9)的框架的实现方式的示图。

图9是深度地图的示例。

图10是相当于四分之一分辨率的深度信号的示例的示图。

图11是相当于八分之一分辨率的深度信号的示例的示图。