[发明专利]一种针对深度学习网络参数的量化方法在审
| 申请号： | 201910521633.X | 申请日： | 2019-06-17 |
| 公开（公告）号： | CN110378467A | 公开（公告）日： | 2019-10-25 |
| 发明（设计）人： | 韦逸;赵明敏;赵民建 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种针对深度学习网络参数的量化方法。本方法包括如下步骤：(1)构建深度学习网络，产生训练数据；(2)利用大量训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取出学习参数，确定超参数；(4)设计量化器，由超参数确定所设计软阶梯函数的具体表达式，并引入可学习参数，使之形状可调整；(5)将该带有学习参数的软阶梯函数引入深度学习网络，量化学习参数，通过相同的训练数据学习量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用量化器对深度学习网络参数进行量化。本发明能够有效降低量化所引起的性能损失，大大降低了深度网络所需的存储开销。 | ||
| 搜索关键词： | 学习 网络参数 量化 训练数据 量化器参数 阶梯函数 量化器 构建 网络 退火 参数确定 存储开销 性能损失 训练过程 引入 可调整 | ||
【主权项】：
1.一种针对深度学习网络参数的量化方法，其特征在于包括以下步骤：(1)构建深度学习网络，并根据问题产生训练数据；(2)利用训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取步骤(2)所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；(4)设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤(3)所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；(5)固定步骤(2)得到的网络参数，将步骤(4)所述的量化器引入深度学习网络并量化网络参数，采用步骤(1)所述的训练数据训练量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用训练好的量化器对深度学习网络参数进行量化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910521633.X/，转载请声明来源钻瓜专利网。
