[发明专利]一种图像超分辨和着色方法、系统及电子设备

权利要求书

1.一种图像超分辨和着色方法，其特征在于，包括以下步骤：

步骤a：结合图像超分辨和着色设计新的网络模型，所述网络模型包括编码模块和解码模块；

步骤b：将低分辨灰度图输入网络模型；

步骤c：通过所述编码模块提取低分辨灰度图像的语义特征图，并将所述语义特征图传入解码模块，所述解码模块对各个层级的语义特征图进行叠加，并输出高分辨彩色图；

在所述步骤c中，所述通过编码模块提取低分辨灰度图像的语义特征图，并将所述语义特征图传入解码模块，所述解码模块对各个层级的语义特征图进行叠加，并输出高分辨彩色图具体为：通过13层卷积层提取低分辨灰度图的语义特征图，经过5层池化层和3层全连接层后，分别将第2、4、7、10、13层卷积输出的语义特征图A、B、C、D、E保留下来，并依次传输至解码模块，特征图E经过空洞残差模块和混合上采样模块之后输出的特征图，与特征图D经过空洞残差模块后输出的特征图相堆叠，堆叠后的特征图经过空洞残差模块和混合上采样模块之后输出的特征图，再和上一层特征图C经过空洞残差模块后产生的特征图相堆叠，依次进行，直到最后将特征图A、B、C、D、E经过解码模块后产生的特征图与所述低分辨灰度图经过混合上采样模块之后产生的特征图相加，即为高分辨率彩色图的输出。

2.根据权利要求1所述的图像超分辨和着色方法，其特征在于，在所述步骤a中，所述编码模块包括13层卷积层、5层池化层和3层全连接层，每层卷积层的卷积核分别为3*3，第1、2层的卷积输出通道为64，第3、4层的卷积输出通道为128，第5、6、7层的卷积输出通道为256，第8、9、10层的卷积输出通道为512，第11、12、13层的卷积输出通道为512；所述池化层的下采样率为2，前4层池化层为最大池化，最后的池化层为全局平均池化；所述3层全连接层的节点个数分别为4096、4096、1000。

3.根据权利要求2所述的图像超分辨和着色方法，其特征在于，在所述步骤a中，所述解码模块包括上采样模块、空洞残差模块和混合上采样模块，所述上采样模块和空洞残差模块的个数为至少两个；所述空洞残差模块包括两个多分支结构的空洞率变化的卷积模块，每个卷积模块分别包括4个分支，每个分支分别由一个普通卷积先压缩维度，再经过一个空洞卷积，四个分支空洞卷积的空洞率分别为1、2、3、5；所述混合上采样模块包括一个固定参数的双线性差值分支和一个参数可学习的反卷积分支。

4.一种图像超分辨和着色系统，其特征在于，包括结合图像超分辨和着色设计新的网络模型，所述网络模型包括编码模块和解码模块；将低分辨灰度图输入所述网络模型，通过所述编码模块提取低分辨灰度图像的语义特征图，并将所述语义特征图传入解码模块，所述解码模块对各个层级的语义特征图进行叠加，并输出高分辨彩色图；

所述网络模型的图像超分辨和着色方式具体为：通过13层卷积层提取低分辨灰度图的语义特征图，经过5层池化层和3层全连接层后，分别将第2、4、7、10、13层卷积输出的语义特征图A、B、C、D、E保留下来，并依次传输至解码模块，特征图E经过空洞残差模块和混合上采样模块之后输出的特征图，与特征图D经过空洞残差模块后输出的特征图相堆叠，堆叠后的特征图经过空洞残差模块和混合上采样模块之后输出的特征图，再和上一层特征图C经过空洞残差模块后产生的特征图相堆叠，依次进行，直到最后将特征图A、B、C、D、E经过解码模块后产生的特征图与所述低分辨灰度图经过混合上采样模块之后产生的特征图相加，即为高分辨率彩色图的输出。

5.根据权利要求4所述的图像超分辨和着色系统，其特征在于，所述编码模块包括13层卷积层、5层池化层和3层全连接层，每层卷积层的卷积核分别为3*3，第1、2层的卷积输出通道为64，第3、4层的卷积输出通道为128，第5、6、7层的卷积输出通道为256，第8、9、10层的卷积输出通道为512，第11、12、13层的卷积输出通道为512；所述池化层的下采样率为2，前4层池化层为最大池化，最后的池化层为全局平均池化；所述3层全连接层的节点个数分别为4096、4096、1000。