[发明专利]一种基于注意力机制的人脸图像超分辨率方法在审
申请号: | 201911016445.8 | 申请日: | 2019-10-24 |
公开(公告)号: | CN111080513A | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 马鑫;侯峦轩;孙哲南;赫然 | 申请(专利权)人: | 天津中科智能识别产业技术研究院有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06N3/08;G06N3/04 |
代理公司: | 天津市三利专利商标代理有限公司 12107 | 代理人: | 韩新城 |
地址: | 300457 天津市滨海新区天津经济技*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 机制 图像 分辨率 方法 | ||
1.一种基于注意力机制的人脸图像超分辨率方法,其特征在于,包括步骤:
S1.将人脸图像数据集的图像数据预处理,得到训练数据集与测试数据集:
S2.使用训练数据集训练模型,得到能对低分辨率人脸图像进行超分到高分辨人脸图像的人脸图像超分模型;包括:
模型中生成网络包括16个稠密残差块,每个稠密残差块与一个注意力模块并行连接,每个稠密残差块里包含5个卷积层,卷积层以稠密连接和残差连接的方式结合;
利用低分辨率人脸图像和对应的目标高分辨率人脸图像作为模型的输入,结合注意力模块的输出,训练模型中的生成网络;
将目标高分辨率人脸图像和生成网络所生成的高分辨率人脸图像输入到判别网络中,由判别网络判断出输入图像的真假,模型迭代多次达到稳定后完成模型的训练;
S3.使用训练好的人脸图像超分模型,对测试数据集中的低分辨率图像超分处理,测试训练好的人脸图像超分模型的超分性能。
2.根据权利要求1所述基于注意力机制的人脸图像超分辨率方法,其特征在于,注意力模块的处理步骤如下:
首先将从之前隐藏层中得到的图像特征图x映射到两个隐空间f、g中,然后计算注意力得分,其中f(x)=Wfx,g(x)=Wgx,Wf和Wg均为可学习的参数,
注意力得分计算如下:
其中sij=f(xi)Tg(xj),βj,i表示模型在生成第j个区域时对第i个位置的注意力程度,N表示特征图上的总区域数量,
注意力层的输出o=(o1,o2,...,oj,...,ON),其中,oj可以表示为:
其中,h(xi)=Whxi,v(xi)=Wvxi,Wh和Wv均为可学习的参数,Wf,Wg,Wh和Wv均以卷积核为1×1的卷积层实现,
将注意力层的输出乘以一个缩放参数,并与输入的特征图相加,可得到:
yi=γoi+xi
其中,yi表示生成的第i个位置,oi表示注意力层的输出,xi表示输入的特征图,γ为平衡因子。
3.根据权利要求1所述的基于注意力机制的人脸图像超分辨率方法,其特征在于,步骤S2包括:
S21.使用标准高斯分布随机初始化生成网络和判别网络的权重参数,其中生成网络的损失函数为L2,对抗损失函数为判别网络的损失函数为
S22.将低分辨率人脸图像输入到生成网络中,生成网络输出与目标高分辨率人脸图像大小一致的生成图像,将生成图像作为判别网络的输入,依次迭代使对抗损失函数和损失函数L2均降低至趋于稳定,
S23.判别网络输入为生成网络生成的高分辨率人脸图像和目标高分辨率人脸图像,判别网络判断输入图像真假,计算损失函数该损失函数只用于更新判别网络参数,
S24.交替训练生成网络和判别网络,直到所有损失函数不再降低,得到最终人脸图像超分模型。
4.根据权利要求3所述的基于注意力机制的人脸图像超分辨率方法,其特征在于,所述生成网络的目标函数如下:
其中,λ1,λ2为平衡因子,用于调整各个损失函数所占的权重;
所述判别网络的目标函数为
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津中科智能识别产业技术研究院有限公司,未经天津中科智能识别产业技术研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911016445.8/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序