[发明专利]用于补偿图像序列中的照明变化的方法和装置

说明书

技术领域

本发明一般涉及图像序列的照明补偿。更确切地，其涉及用于补偿图像序列中的照明变化的方法和装置。其还涉及实现补偿这样的图像序列的照明变化的方法的对图像序列进行编码和/或解码的方法和设备。

背景技术

下面应当以宽泛的含义来考虑图像序列，因为其涵盖3D视频序列、可缩放的视频序列、多视图视频序列等。因此，所要求保护的方法可以应用于任何种类的图像序列，其照明变化将从参考图像来补偿。

例如在多视图视频序列中，使用来自不同位置的若干同步相机的设置来记录目标或场景。每台相机记录通常被称为视图的图像。因此，多视图视频序列包括多个场景，并且对每个场景记录若干视图。视图是作为图像的像素的集合，但是在下面使用术语“视图”而不是术语“图像”，以记住相同场景(或目标)的多个视图被嵌入在图像序列中。

频繁讨论的图像序列的应用包括三维电视(3DTV)以及自由视点电视(FTV)，其中用户能够自由地浏览场景。

图像序列的记录创建大量数据。因此，需要高效的压缩技术以存储或传送视频流。

例如，由ISO/IEC 14496-10ITU-T Rec.H.264规定的MVC(多视图视频编码)支持使用单个流对来自多个视图的同步信息直接编码，并且利用相机间的冗余来降低比特率。基本的编码方案使用针对每个视图的分级B预测结构。该方案利用处于相同时间点但不同视图的图像之间的相关性来进行视差估计和补偿。针对单视图视频压缩精心研发的运动补偿技术能够用于时间预测。同样地，可以利用视差补偿技术来降低视图间的冗余。通过块匹配技术来执行补偿处理，块匹配技术一般针对找到参考图像中的最佳匹配块，使得其有助于预测后的最小残余误差。

在相同场景(或目标)的多个视图之间存在照明改变。这样的改变可以被分为两个类别：由相机之间的不同校准引起的全局照明改变，以及由相机的不同角度和位置引起的局部照明改变。

必须处理该问题的原因是其可能影响基于图像的呈现算法的质量以及视差估计和补偿(在视频编码情况下的视图间预测)的准确度。在最后的情况下，最佳匹配候选的残余能量的量将增加。而且，将影响最佳匹配块和视差向量的搜索处理。这两个进一步的结果都导致编码效率降低。

对于深度估计(3D视频)或比特深度可缩放视频编码或从LDR(低动态范围)视频预测HDR(高动态范围)视频的视图间匹配也是该情况。

为了解决这个问题，MVC实现使用加权预测工具的照明补偿处理。从另外的视图R的重构样本Rec_R(.,.)预测视图D的照明补偿处理由等式(1)给出：

Pred_D(x，y)=W_R×Rec_R(x+dx，y+dy)+O_R(1)

其中，W_R和O_R分别为缩放参数和偏移，它们在传送前后关系中，相对于图像序列的当前视图D，在片段头部中传送。缩放参数和偏移对于整个片段是不变的。

这样的照明补偿处理是线性的，对于多视图视频编码在光反射或闪烁的情况下过于简单。而且，因为对整个片段应用相同的参数，所以其未考虑场景中的局部照明变化。

照明补偿线性处理确定地不适于来自异构捕捉器(例如托架)或者来自异构可缩放预测(例如HDR(高动态范围)到LDR(低动态范围)视频转换)的视图的情况。

Fecker等人(“Histogram-based prefiltering for luminance and chrominance compensation of multiview video”，IEEE，Transactions on circuits and systems for video technology，第18卷，第9号，2008年9月)设计用于照明补偿的基于累积直方图的匹配处理。这样的基于累积直方图的照明补偿处理对整个视图应用相同的校正，对于校正亮度和色度中的全局差异特别有用。然而，因为对整个视图计算直方图，所以这样的照明补偿处理不考虑场景中的局部照明变化。

为了考虑场景中的局部照明变化，将局部地适配照明补偿的匹配处理。然而，例如，如果针对每个块进行适配，则应当针对每个块传送匹配信息。这样大量的信息对于视频编码效率不高。

发明内容

本发明针对减轻现有技术的一些不便。