[发明专利]一种基于快速GAN的图像生成方法在审
申请号: | 201910890284.9 | 申请日: | 2019-09-20 |
公开(公告)号: | CN110662069A | 公开(公告)日: | 2020-01-07 |
发明(设计)人: | 郑哲;胡庆浩;冷聪;刘青山 | 申请(专利权)人: | 中国科学院自动化研究所南京人工智能芯片创新研究院;南京信息工程大学 |
主分类号: | H04N19/42 | 分类号: | H04N19/42;H04N19/124;H04N19/182;G06N3/02 |
代理公司: | 32360 南京泰普专利代理事务所(普通合伙) | 代理人: | 窦贤宇 |
地址: | 211000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像生成 量化 网络压缩 网络 网络结构设计 比特量化 速度要求 压缩技术 资源受限 剪枝 浮点 算法 压缩 对抗 图片 | ||
1.一种基于快速GAN的图像生成方法,其特征在于,包括如下步骤:
步骤1:选取处理速度实时的量化压缩算法;
步骤2:用步骤1中选取的算法对特定GAN框架进行保持判别网络不变,只对生成网络的量化;
步骤3:根据权重数据分布对权重数据进行重新编码并得到一套数据位数为8bit的码表;
步骤4:将分布最多的权重数据用4bit数据索引来表示,其余分布的权重数据用8bit数据索引表示;
步骤5:使用布尔数组来做数据索引的索引;
步骤6:检测布尔数组为1的时候通过移位得到分布最高的权重数据的数据索引;
步骤7:利用4bit或者8bit数据索引去码表中查找对应真实值;
步骤8:从高bit不断对生成网络向低bit量化,本发明对生成网络权重进行4bit量化,激活1bit量化;
步骤9:评估步骤3量化后模型生成图片质量与原始模型图片质量差异;
步骤10:若步骤4中性能差异较大,可对量化后模型进行微调提升图片生成质量。
2.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤1对权重量化采用量化函数为其中ri为网络权值,ro为量化后权值,本发明采取重新训练方式来获得最终量化模型,采用量化后权值获得的梯度去更新量化前的浮点权值。
3.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤3中重新编码的具体实现过程如下,将每一层的权重数据分成[2-16,2-15,…,20,21,…,216]32组,对所有权重数据取绝对值,将分布在数组之间的权重数据向左规整到这32组中最邻近的数据中,并做出直方图;然后用边界宽度为8,步进为1的矩形区域划过直方图,重合面积最大的时的权重数据范围,即为权重信息主要集中的部分,将这些权重数据编码到[-127,127]中,超出边界的权重数据规整为边界值;将权重数据转换成8位数据进行编码时,权重的量化尺度S1为:其中,权重的最小值为2m。
4.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤3中生成码表放置在高速RAM里面便于快速读取数据。
5.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤5中使用布尔数组来做数据索引的索引,其具体过程为,对权重数据的数据索引数组对应的布尔数组所在的存储空间进行数值扫描,如果发现数值为0,则与该位数值对应的数据索引数组为8bit数据;如果发现数值为1,则与该位数值对应的数据索引数组为两个4bit数据,此时将该位数据索引数组值向左向右移位4bit分别得到两个4bit数据。
6.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤6中通过左移四位得到的后4bit数据表示的数据索引,而向右移动4bit数据得到的前4bit数据表示的数据索引。
7.根据权利要求1所述的一种基于快速GAN的图像生成方法,其特征在于:步骤8中激活1bit量化采用二值量化,量化函数为ro=sign(ri),采用STE来传播梯度优化网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所南京人工智能芯片创新研究院;南京信息工程大学,未经中国科学院自动化研究所南京人工智能芯片创新研究院;南京信息工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910890284.9/1.html,转载请声明来源钻瓜专利网。