[发明专利]一种对立体图像进行超分的方法

权利要求书

1.一种对立体图像进行超分的方法，其特征在于，具体步骤如下：

(1)左右图位置信息估计：

将低分辨率立体图像的左图和右图(LR_left，LR_right)输入到光流估计网络F_OE中，学习出两图之间的位移光流O，该光流记录了左图和右图之间的视差信息，记为：

O＝F_OE(LR_left,LR_right)；

(2)左右图对齐：

根据光流网络F_OE估计出的左图和右图之间的光流O，使用反向变形方式将右图中对应像素位移到左图的对应像素位置上，补偿两图之间的视差，得到与左图统一视角的右图LR_right’：

LR′_right＝Warp(LR_right,O)；

(3)高分辨率图像的重构：

将对齐到同一视角的左右图(LR_left,LR_right’)输入到图像超分网络F_SR中，重构出高分辨率的左图像SR_left，恢复原立体图像中丰富的边缘纹理细节信息；

SR_left＝F_SR(LR_left,LR′_right)；

步骤(1)中，通过光流估计网络F_OE学习出两图之间的位移光流，具体步骤为：

首先，提取左右图的亮度通道Y_left，Y_right；将左右图的亮度通道级联起来得到光流估计网络的输入Y：

Y＝concat(Y_left,Y_right)

其次，将Y经过一个大小为3×3×64的卷积层生成特征图f：

f＝Conv(Y)

再将f依次经过一个GRU卷积块、一个1×1的卷积层、一个最大池化操作，输出特征f₁；将GRU卷积块、1×1大小的卷积层以及一个最大池化操作，一共重复执行三次，每次分别生成特征f₁，f₂及f₃：

f₁＝Maxpool(Conv(GRU(f)))

f₂＝Maxpool(Conv(GRU(f₁)))

f₃＝Maxpool(Conv(GRU(f₂)))

将特征f₃通过双线性插值放大其特征维度，再经过一个大小为1×1×256的卷积层，生成特征f₄：

f₄＝GRU(Conv(Bilinear(f₃)))

将f₄与f₂级联起来一同输入一个1×1×256的卷积层及一个GRU块中，得到特征f₅：

f₅＝GRU(Conv(concat(f₄,f₂)))

将特征f₅经过双线性插值放大后，经过一个1×1×128的卷积层，得到特征f₆：

f₆＝Maxpool(Conv(GRU(f₅)))

将f₆与f₁级联起来输入一个1×1×128的卷积层及一个GRU块中，得到特征f₇：

f₇＝GRU(Conv(concat(f₆,f₁)))

将特征f₇也经双线性插值放大，并经过一个3×3×64的卷积层，得到特征f₈：

f₈＝Conv(Bilinear(f₇))

将f₈与f级联起来输入一个GRU块和一个大小为3×3×2的卷积层，得到光流图(u,v)：

(u,v)＝Conv(GRU(concat(f₈,f)))；

步骤(3)中通过图像超分网络F_SR重构出高分辨率的左图像SR_left，具体流程为：

首先，将对齐后的低分辨率左图和右图的亮度通道(LR_left,LR_right’)级联输入，经过一个大小为3×3×64的卷积层，得到特征p₁：

P₁＝Conv(concat(LR_left,LR′_right))

其次，将特征p₁依次经过7个GRU块结构，每个GRU块分别生成特征g₁,g₂,...,g₇；

g_i＝GRU_i(GRU_i-1(...,GRU₁(p1)...))i＝1,2…，7；

然后，将每个GRU块的输出级联起来，经过一个大小为4×4×64的去卷积层，放大图像特征分辨率，再经过一个大小为3×3×1的卷积层将特征转化为重构的图像残差I_res：

I_res＝Conv(Deconv(concat(g₇,g₆,...g₁)))

最后，将生成的残差与经双三次插值直接放大的低分辨率左图相加，得到超分后的左图：