[发明专利]基于生成对抗网络的DIBR系统空洞填充方法

摘要

本发明公开了一种基于生成对抗网络的DIBR系统空洞填充方法，首先收集一批参考图像样本和对应的深度图像，生成训练样本，采用此训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型，然后采用与训练样本相同的方法生成待填充目标图像对应的张量，并生成前景抑制蒙版，处理得到输入张量，将其输入至生成模型，最后对输出结果进行进一步处理得到空洞填充后的目标图像。本发明采用生成对抗网络提取低级特征和高级语义特征，提高填充的空洞区域和剩余部分像素的一致性。

主权项

1.一种基于生成对抗网络的DIBR系统空洞填充方法，其特征在于，包括以下步骤：S1：采用以下方法生成训练样本：S1.1：收集一批参考图像及对应的深度图像D^t，t＝1,2,…,K，K表示参考图像数量；S1.2：将每幅参考图像和深度图像D^t进行三维图像变换，得到对应的目标图像并生成与目标图像相同尺寸的蒙版mask^t，蒙版mask^t用于标记空洞像素点，如果目标图像中的像素点是空洞像素点，则在蒙版mask^t中对应的像素值为1，如果是非空洞像素点，则在蒙版mask^t中对应的像素值为0；S1.3：将每幅参考图像的各个通道和对应的蒙版mask^t分别转化为batch_size×M^t×N^t×1的张量，然后依次拼接得到batch_size×M^t×N^t×(L+1)的张量作为对应的训练样本，其中batch_size表示批尺寸，M^t×N^t表示参考图像的尺寸，L表示参考图像的通道数；S2：采用步骤S1生成的训练样本对生成对抗网络进行训练，得到用于DIBR系统空洞填充的生成模型；S3：对于经参考图像I′R进行图像三维变换得到的待空洞填充的目标图像I′S，生成与目标图像I′S相同尺寸的非空洞矩阵M′S和蒙版mask′，其中非空洞矩阵M′S用于区分目标图像I′S中的非空像素点和空洞像素点，对于目标图像I′S中的像素点是空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为‑1，反之，如果是非空洞像素点，则在非空洞矩阵M′S中将对应的元素值置为该像素点的深度值；蒙版mask′用于标记空洞像素点，如果目标图像I′S中的像素点是空洞像素点，则在蒙版mask′中将对应的元素值为1，如果是非空洞像素点，则在蒙版mask′将中对应的元素值置为0；S4：根据非空洞矩阵M′S进行空洞检测并对检测到的空洞进行膨胀，将得到的矩阵作为前景抑制蒙版mask′FR；S5：采用步骤S1.3中同样方法将目标图像I′S的各个通道矩阵和蒙版mask′分别转化为batch_size×M′×N′×1的张量，其中M′×N′表示目标图像I′S的尺寸，然后依次拼接得到batch_size×M′×N′×(L+1)的张量R，然后根据以下公式计算得到输入张量input：input＝R⊙(1‑mask′)其中，⊙表示对应元素相乘；经前景抑制蒙版mask′FR处理后得到输入张量input′：input′＝input⊙(1‑mask′FR)；S6：将输入张量input′输入至步骤S2得到的生成模型中，得到输出的图像output，然后采用以下公式处理得到空洞填充后的目标图像I″S：I″S＝output⊙mask′+I′S⊙(1‑mask′)。