[发明专利]图像重建方法及系统

权利要求书

1.一种图像重建方法，其特征在于，包括以下步骤：

S1、对图像数据集中的输入图像、参考图像进行预处理，融合预处理后的图像，得到初步融合后的纹理特征Lx；其中，x=1，2,…,d；将待重建的低分辨率图像经过卷积处理，得到浅层特征F；d为初步融合后的纹理特征数量；

S2、对浅层特征F、前d-1个纹理特征依次进行上采样和卷积操作，将Ld、卷积操作后的F、前d-1个纹理特征进行维度拼接，对拼接后的特征进行卷积操作，得到再次融合后的纹理特征L^z；

对待重建的低分辨率图像的每个通道信息进行卷积操作，再将卷积操作后的结果进行维度拼接，得到LR grad，对LR grad继续进行多次卷积操作，并将多次卷积操作的结果与LRgrad逐元素相加得到初始的Rec grad；

对LR grad进行卷积操作，得到LR grad^c，将LR grad^c与初始的Rec grad逐元素相加，对相加后的结果进行上采样，对上采样后的图像进行卷积处理，得到重建的梯度特征ReconGrad；

S3、将重建的梯度特征Recon Grad与纹理特征L^z进行维度拼接，得到拼接特征x_f_cat；对拼接特征x_f_cat进行卷积操作，得到的卷积操作结果与拼接特征x_f_cat逐元素相加得到x_cat，将x_cat再经过多次卷积操作，得到最终的超分辨率重建结果x_out。

2.根据权利要求1所述的图像重建方法，其特征在于，步骤S1中，初步融合后的纹理特征Lx的获取过程包括：

1）将图像数据集中的输入图像、参考图像分别依次进行下采样和上采样，对应得到上采样后的输入图像LR’和参考图像Ref’；

2）提取所述上采样后的输入图像LR’的纹理特征，得到LR’^Tex；提取所述上采样后的参考图像Ref’和输入参考图像Ref的纹理特征，得到Ref’^Tex以及Ref^Tex；

3）将LR’^Tex和Ref’^Tex分块，通过计算块间内积得到相关性矩阵Re，矩阵Re的大小为M×N，取矩阵Re每一列的最大值的下标组成ID矩阵H，取矩阵Re每一列的最大值组成矩阵S；利用ID矩阵H对Ref^Tex进行纹理匹配，得到d个与给定低分辨率图像相关的高分辨率纹理特征T1、T2、…、Td；

4）组合F、S和高分辨率纹理特征，得到d个组合：F、S、T1；F、S、T2；…；F 、S、Td；

5）对于每个所述组合，先对该组合中的浅层特征F和高分辨率纹理特征Tx进行维度拼接，将拼接结果与矩阵S相乘，得到中间结果，对所述中间结果取均值，得到权重W；对所述中间结果进行残差处理，得到特征P；将特征P与权重W相乘，得到初步融合后的纹理特征Lx。

3.根据权利要求2所述的图像重建方法，其特征在于，所述下采样方法为4倍双三次插值下采样；所述上采样方法为4倍双三次插值上采样。

4.根据权利要求2所述的图像重建方法，其特征在于，利用纹理提取器提取相关图像的特征，所述纹理提取器采用VGG19的前12层网络结构。

5.根据权利要求1～4之一所述的图像重建方法，其特征在于，步骤S2中，初始的Recgrad的具体获取过程包括：将LR grad、L1、L2、…、Ld输入Grad Block；所述Grad Block对所述LR grad和L1、L2、…、Ld进行维度拼接，再对拼接后的结果进行多次卷积操作，并将卷积操作后的结果乘以权重系数将所述Grad Block的输出结果与LR grad逐元素相加，得到初始的Rec grad。

6.根据权利要求5所述的图像重建方法，其特征在于，所述权重系数为0.2。

7.根据权利要求5所述的图像重建方法，其特征在于，d=3。