[发明专利]一种基于特征蒸馏复用的轻量化图像超分辨率重建方法在审
申请号: | 202110070243.2 | 申请日: | 2021-01-19 |
公开(公告)号: | CN112734645A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 甘敏;张文杰;苏建楠;陈光永 | 申请(专利权)人: | 青岛大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40 |
代理公司: | 青岛高晓专利事务所(普通合伙) 37104 | 代理人: | 贾景然 |
地址: | 266061 山*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 特征 蒸馏 量化 图像 分辨率 重建 方法 | ||
1.一种基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,具体步骤包括:
S1、构建训练数据图像;
S2、构建特征蒸馏复用网络,具体过程为:
S21、构建特征提取部分,使用一个卷积层来提取低分辨率图像特征;
S22、构建多层次特征蒸馏复用部分,多层次特征蒸馏复用部分由多个特征蒸馏复用部分串联组成,每一个特征蒸馏复用部分的特征信息除依次传递给下一个特征蒸馏复用部分外,还通过递归快捷连接的方式传递到多层次特征蒸馏复用部分的末端,在末端将各特征蒸馏复用部分的特征信息按通道进行合并;
S23、构建图像重建部分,图像重建部分包括两部分,第一部分是对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合,并通过亚像素反卷积重建出高分辨率图像;第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小,获得高分辨率低质量的图像;最后将两部分的图像进行逐像素相加,即重建出超分辨率图像。
S3、训练构建的特征蒸馏复用网络,得到最优的特征蒸馏复用网络;
S4、将低分辨率图像输入训练后的特征蒸馏复用网络,获得图像超分辨率结果。
2.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,步骤S1的具体步骤为:先收集一组高分辨率的图像数据集,再对高分辨率图像进行下采样操作,获得低分辨率图像;然后将高分辨率图像和低分辨率图像的顺序一一对应,组成成对的训练数据集。
3.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,特征提取部分使用的卷积层的卷积核为3×3,输入通道数是3,输出通道数是64。
4.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,每个特征蒸馏复用部分由沿网络传输方向依次设置的n层网络结构、通道合并层、特征融合层和通道关系建模层组成;前n-1层网络结构均对输入的图像特征分别进行精炼操作和精细化操作,得到图像精炼特征和图像精细化特征,对得到的图像精炼特征进行特征复制操作获得复用特征,将复用特征与图像精细化特征按通道合并,合并结果作为下一层网络结构计算的输入;第n层网络结构对输入的图像特征仅进行精炼操作,得到图像精炼特征;将各层网络结构得到的图像精炼特征经通道合并层按通道进行合并,然后通过特征融合层对合并的特征进行融合;最后通过通道关系建模层采用归一化方法对通道关系建模,重新分配通道特征的权重,输出特征图。
5.根据权利要求4所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,所述精炼操作是使用一个卷积核大小为1x1的卷积层对输入的Cdist个通道特征图精炼出Cdist/2个通道特征图,得到精炼特征;所述精细化操作是使用一个卷积核大小为3x3的卷积层对输入的Cret个通道特征图精细化出Cret/2个通道特征图,得到精细化特征;所述特征复制操作是使用一个卷积核大小为3x3的、分组数量为输出通道数的分组卷积层对所在网络结构层的1x1卷积层得到的精炼特征进行复制,获得复用特征;所述特征融合层为卷积核为1x1,输入通道数为n×Cdist/2,输出通道数为64的卷积层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于青岛大学,未经青岛大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110070243.2/1.html,转载请声明来源钻瓜专利网。