[发明专利]局部和全局并行学习的高分辨率图像风格变换方法及系统有效
申请号: | 202011153645.0 | 申请日: | 2020-10-26 |
公开(公告)号: | CN113240573B | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 郑进;梁栋荣 | 申请(专利权)人: | 杭州火烧云科技有限公司 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06N3/04;G06N3/08;G06T7/90 |
代理公司: | 杭州凯知专利代理事务所(普通合伙) 33267 | 代理人: | 邵志 |
地址: | 310012 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 局部 全局 并行 学习 高分辨率 图像 风格 变换 方法 系统 | ||
1.局部和全局并行学习的高分辨率图像风格变换方法,其特征在于包括以下步骤:
S1、构造风格化模型的训练样本集D={(xi,yi,mi)|xi∈XN,yi∈YN,i=1,2,...N},xi为原图样本集合,yi为专业的修图师人工处理得到的对应修图样本集合,mi为原图样本集合xi对应的语义分割图样本集合;
S2、将步骤S1中的原图样本集合和对应修图样本集合压缩至尺寸得到小尺寸下的小图训练样本集合
S3、基于步骤S2中构建的小图训练样本集合使用构建的全局处理网络进行训练,得到针对小尺寸图像的小图风格化模型Mlow;
S4、基于步骤S1中构建的训练样本集D,对训练样本集D进行随机裁剪得到对应的切片对使用构建的局部处理网络进行训练,并记录模型每次训练样本切片的坐标信息(a,b,c,d),其中a和b表示切片在原图中的左上角的横纵坐标,c和d表示切片在原图中的右下角的横纵坐标,由此获得切片风格化模型Mpatch;
S5、基于步骤S3中Mlow获得的风格化小图通过插值方法放大到原始图像的尺寸,并根据S4中记录的切片坐标信息,从中截取出对应的切片Plow,将Plow与Mpatch输出的风格化切片Phigh进行拼接,输入到全局与局部信息网络进行训练,获得融合模型Mfusion;
S6、基于小图感知损失、切片感知损失和融合小图全局信息后切片的一致性损失联合训练步骤S3-S5中的三个网络。
2.根据权利要求1所述的局部和全局并行学习的高分辨率图像风格变换方法,其特征在于:所述S2中为原先尺寸的1/10-1/6。
3.一种如权利要求1-2中任一项所述的局部和全局并行学习的高分辨率图像风格变换方法所应用的系统,其特征在于包括有:
全局小图处理网络单元,用于训练原尺寸样本压缩后的小图样本;
局部切片处理网络单元,用于训练从原尺寸裁剪的切片样本;
全局与局部信息融合网络单元,用于将全局小图处理网络单元和局部切片处理网络单元输出的高维特征图进行融合,输出最终的风格化切片;
对上述三个网络单元联合训练完成后,将原尺寸图像从左上角开始裁剪输入切片获得风格化切片,再进行拼接即得到最终的原尺寸风格化图像。
4.根据权利要求3所述的系统,其特征在于:所述全局与局部信息融合网络单元,用于将全局小图处理网络单元中获得的图像全局信息和局部切片处理网络单元中获得的细节纹理信息进行融合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州火烧云科技有限公司,未经杭州火烧云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011153645.0/1.html,转载请声明来源钻瓜专利网。