[发明专利]一种多尺度特征融合的双目图像超分辨率重建方法

权利要求书

1.一种多尺度特征融合的双目图像超分辨率重建方法，其特征在于，采用扩张残差回环结构提取与融合双目图像多尺度特征，包括数据集预处理、对左目和右目低分辨率图像进行特征提取与融合、对融合后的特征张量计算视差图、超分辨率重建、网络训练与测试五个部分，

第一部分包括两个步骤：

步骤1，下载双目立体公开数据集，选取场景丰富、细节多样和视差波动范围合适的双目图像对作为训练集中的高分辨率图像对，然后对高分辨率图像经双三次插值降采样得到低分辨率图像作为测试集样本；

步骤2，将高分辨率与低分辨率图像裁剪成一一对应大小的图像块，对裁剪得到的高低分辨率图像对经旋转，平移基础操作，增强训练样本集，形成最终的训练集样本；

第二部分包括两个步骤：

步骤3，将步骤2中的训练样本输入权值共享的卷积网络，通过通道数变换从RGB空间初步得到左图像特征张量和右图像特征张量；

步骤4，对步骤3得到的左图像特征张量和右图像特征张量采用扩张残差回环结构进行多尺度特征提取，得到左图特征张量和右图特征张量，具体实施如下：

步骤4-1，回环结构由三组改进空洞空间金字塔池化块ASPP+通过混合跳跃残差连接构成； 混合跳跃式残差由长短跳跃相结合的残差构成，长跳跃中输入与输出相连，短跳跃中前一层的输出作为下一层的输入，整体构成回环结构； 回环结构中ASPP+包括一个1*1卷积层、三个3*3膨胀卷积层，膨胀率分别为2a,2a+1,2a+2和池化层，在膨胀率设置中a=1，ASPP+用于多尺度特征提取，每个卷积层都有64个输出通道，三个3*3膨胀卷积层使用FReLU激活函数； 最后将ASPP+使用Concatenate操作融合；

步骤4-2，扩张残差第一层卷积通道数变为N倍，中间层使用FReLU激活函数，最后一层卷积通道变回原本的通道数，其中N=2，扩张残差块中的卷积核都为3*3；

步骤4-3，将回环结构与扩张残差块交替级联，用于特征提取与融合；

第三部分包括四个步骤：

步骤5，将步骤4中得到的左图特征张量和右图特征张量经扩张残差过渡块处理，利用权值共享卷积网络得到代价聚合后的左特征张量图1.1和右特征张量图1.2，将左特征张量图 1.1和右特征张量图1.2的转置经过批次化矩阵乘得到右到左视差图，将右特征张量图1.2和左特征张量图1.1的转置经过批次化矩阵乘得到左到右视差图；

步骤6，将步骤5中代价聚合后的右特征张量1.2与右到左视差图批次化矩阵乘得到左特征张量图2.1，将步骤5中代价聚合后的左特征张量1.1与左到右视差图批次化矩阵乘得到右特征张量图2.2；

步骤7，对步骤5中得到的右到左视差图经形态学操作得到有效掩码左图，对步骤5中得到的左到右视差图经形态学操作得到有效掩码右图；

步骤8，将步骤5的左特征张量图1.1、步骤6的左特征张量图2.1和步骤7的有效掩码左图经Concatenate操作得到融合后的左特征张量，将步骤5的右特征张量图1.2、步骤6的右特征张量图2.2和步骤7的有效掩码右图经Concatenate操作得到融合后的右特征张量；

第四部分包括两个步骤：

步骤9，将四个扩张残差块级联成通道变换的扩张残差组，对步骤8中融合后的左特征张量和右特征张量经扩张残差组操作得到左特征图和右特征图；

步骤10，利用亚像素卷积层将步骤9处理后的左特征图和右特征图映射到高维空间后，再经卷积操作将特征图映射到RGB空间；

第五部分包括两个步骤：

步骤11，调试从步骤3到步骤10的网络结构超参数，设置网络模型参数，其中，初始学习率设置为0.0002，Epochs设置为120，每40个Epochs后将学习率降为原来的1/3，Bach size设置为40，并得到最终的训练模型；

步骤12，将步骤1中测试集输入步骤11中的训练模型中，重建出超分辨率左图像和超分辨率右图像。

2.根据权利要求1所述的一种多尺度特征融合的双目图像超分辨率重建方法，其特征在于，步骤5中使用扩张残差过渡块学习网络能力。

3.根据权利要求1所述的一种多尺度特征融合的双目图像超分辨率重建方法，其特征在于，利用步骤9中使用四个扩张残差块形成通道变换的残差组融合图像不同深度的特征信息。