[发明专利]利用辅助信息的针对视频编码的纹理合成方法、设备、程序以及介质

说明书

技术领域

本公开总体上涉及视频处理。更具体地，本公开涉及利用辅助信息的针对视频编码的纹理合成的方法、设备、程序以及介质。

背景技术

本公开总体上涉及视频内的纹理，即，视觉纹理。如这里所使用的，术语“纹理”可以指代包括重复元素的数字图像或数字图像序列。这些重复的元素会产生三维纹理状表面幻像，即，对于眼睛呈现纹理状表面。

更具体地，本公开涉及针对视频编码的纹理合成的问题。纹理合成的基本目标是合成在感知上与原始图像序列相同(或类似)的图像序列。然而，允许合成的序列的像素值与原始序列中的像素值显著不同。这与传统编码方法不同，在传统编码方法中寻求尽可能接近原始像素值。

纹理合成的最佳动机是针对有些随机的图像序列。例如，水、草以及树的运动是纹理合成的良好候选。

纹理合成使用在许多领域，包括数字图像编辑、三维计算机图形、电影的后期制作等。纹理合成可以用于填充图像中的洞、创建较大非重复背景图像、扩展较小画面等等。

发明内容

公开了一种利用辅助信息的针对视频编码的纹理合成方法。该方法可以由解码器设备来实现。该方法可以包括：以高保真度接收种子纹理。该方法还可以包括以低保真度接收合成区域的剩余部分。该方法还可以包括接收对要合成的区域的标记。该方法还可以包括基于高保真度种子纹理以及合成区域的低保真度部分来合成所标记的区域。

合成所标记的区域可以包括识别种子纹理内的至少一个最佳匹配区域。可以获得初始估计。获得初始估计可以包括将来自于最佳匹配区域的像素值拷贝至当前合成区域。可以从至少一个最佳匹配区域中导出图像模型。可以从接收到的比特流中提取附加的图像模型。可以基于初始估计以及导出和提取的图像模型来合成当前合成区域。

可以识别多个最佳区域。在这种情况下，多个最佳匹配区域的加权组合可以用于合成所标记的区域。

所传送的图像模型可以包括量化参数、量化的等级值、以及预测模式中的至少一个。

可以通过迭代地投影至从接收到的比特流中提取的图像模型以及从种子纹理中提取的图像模型，来执行合成当前合成区域。

作为一个示例，从种子纹理中提取的图像模型可以是自相关的。用于迭代投影动作的投影算子可以是至所需相关模型的线性映射。

作为另一示例，从种子纹理中提取的图像模型在变换域中可以是稀疏的。用于迭代投影动作的投影算子可以是用于达到所需稀疏性的阈值化。

该方法还可以包括：执行补丁混合以及去块，以施行边界平滑。

所导出的图像模型以及所传送的不同类型的图像模型可以包括以下中的至少一个：基于空时相关的模型、基于像素亮度直方图的模型、基于变换系数直方图的模型、以及基于变换域中相关的模型。

合成所标记的区域可以包括识别种子纹理内至少一个最佳匹配区域。纹理相似性度量可以被定义为，指示至少一个最佳匹配区域与当前合成区域之间的差异。辅助信息度量可以被定义为，指示辅助信息与当前合成区域之间的差异。辅助信息度量可以通过在变换域中投影找到最接近点来确定。合成所标记的区域还可以包括联合地最小化纹理相似性度量与辅助信息度量的组合。

可以执行逐块处理。可以利用相邻因果块的合成结果的知识，来执行合成特定块的动作。备选地，可以利用所有相邻块的合成结果的知识，来执行合成特定块的动作。作为另一备选方案，合成所标记的区域的动作可以包括相对于所标记的区域来执行因果纹理合成，然后以非因果方式来处理所标记的区域。

该方法还可以包括通过执行以下中的至少一个来降低计算复杂性：无交叠至交叠网格搜索、使用空间和多分辨率关系来减小搜索空间、以及使用变换域系数来降低计算复杂性。

公开了一种解码器设备，该解码器设备被配置用于利用辅助信息的针对视频编码的纹理合成。解码器设备包括处理器和与该处理器进行电子通信的存储器。可以将指令存储在存储器中。指令可执行用于以高保真度接收种子纹理。指令还可执行用于以低保真度接收合成区域的剩余部分。指令还可执行用于接收对要合成的区域的标记。此外，指令可执行用于基于高保真度种子纹理以及合成区域的低保真度部分，来合成所标记的区域。

解码器设备还可以包括计算机程序，该计算机程序用于利用辅助信息的针对视频编码的纹理合成。该计算机程序存储在例如光盘或磁盘之类的存储介质上。