[发明专利]模型量化方法及装置、存储介质及电子设备在审
申请号: | 202110825902.9 | 申请日: | 2021-07-21 |
公开(公告)号: | CN113537470A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 赵梦伟 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 量化 方法 装置 存储 介质 电子设备 | ||
本公开涉及机器学习技术领域,具体涉及一种模型量化方法及装置、计算机可读存储介质及电子设备,所述模型包括多个参考层,其中所述参考层包括卷积层和全连接层中的至少一个,该方法包括:获取所述参考层中权重的离群值,并根据所述离群值确定所述参考层中的目标通道;复制各所述目标通道,并根据各所述目标通道的复制次数调整各所述目标通道中的权重值以得到与所述参考层对应的目标层;对各所述目标层进行量化处理,并根据各所述目标通道的数量确定各所述目标通道对应输入通道的数量以完成对所述模型的量化。本公开实施例的技术方案解决了离群值对动态范围的影响,提高了量化后模型的精度。
技术领域
本公开涉及机器学习技术领域,具体而言,涉及一种模型量化方法及装置、计算机可读存储介质及电子设备。
背景技术
随着机器学习的日益发展,对神经网络模型的应用也变得越来越广泛。为了弥补移动端算力的需求和供给的矛盾,近年来模型压缩成为了深度学习领域研究热门,其中模型量化(Quantization)技术不仅可以提升计算效率,还可以减少内存占用和能耗。
现有技术中的模型量化方法主要采用阈值裁剪量化方法和离群值感知量化方法,阈值裁剪量化方法将离群值压缩到了阈值T,虽然解决了离群值对动态范围的影响,但导致了离群值的失真;离群值感知量化方法,需要使用到专用的硬件,不适合用于手机等商用移动设备。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种模型量化方法、模型量化装置、计算机可读介质和电子设备,进而至少在一定程度上解决了离群值对动态范围的影响,提高了量化后模型的精度。
根据本公开的第一方面,提供一种模型量化方法,所述模型包括多个参考层,其中所述参考层包括卷积层和全连接层中的至少一个,方法包括:
获取所述参考层中权重的离群值,并根据所述离群值确定所述参考层中的目标通道;
复制各所述目标通道,并根据各所述目标通道的复制次数调整各所述目标通道中的权重值以得到与所述参考层对应的目标层;
对各所述目标层进行量化处理,并根据各所述目标通道的数量确定各所述目标通道对应输入通道的数量以完成对所述模型的量化。
根据本公开的第二方面,提供一种模型量化装置,所述模型包括多个参考层,其中所述参考层包括卷积层和全连接层中的至少一个,装置包括:
确定模块,用于获取所述参考层中权重的离群值,并根据所述离群值确确定模块,用于获取所述参考层中权重的离群值,并根据所述离群值确定所述参考层中的目标通道;
复制模块,用于复制各所述目标通道,并根据各所述目标通道的复制次数调整各所述目标通道中的权重值以得到与所述参考层对应的目标层;
量化模块,用于对各所述目标层进行量化处理,并根据各所述目标通道的数量确定各所述目标通道对应输入通道的数量以完成对所述模型的量化。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面,提供一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110825902.9/2.html,转载请声明来源钻瓜专利网。