[发明专利]一种动态混合精度模型构建方法及系统在审
| 申请号： | 202110491111.7 | 申请日： | 2021-05-06 |
| 公开（公告）号： | CN113076663A | 公开（公告）日： | 2021-07-06 |
| 发明（设计）人： | 郭锴凌;杨弈才;徐向民;邢晓芬 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06F30/20 | 分类号： | G06F30/20 |
| 代理公司： | 广州海心联合专利代理事务所(普通合伙) 44295 | 代理人： | 黄为;冼俊鹏 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种动态混合精度模型构建方法及系统，涉及深度神经网络技术。针对现有技术中可转换的状态数量及精度问题提出本方案，特点在于根据全精度模型中不同块的参数的海森矩阵的平均迹以及可选参数精度表S构建混合精度状态转换表；并在训练过程中采用每次训练迭代随机采样数个混合精度子模型，用改进的量化函数进行量化操作，得到混合精度模型；根据实际部署需求组成混合比特部署状态表进行实际部署。优点在于，利用海森矩阵平均迹和随机采样，减少了训练所需的搜索空间与计算量，同时改进的量化函数可以在不同量化比特间直接迁移且量化误差小，使得混合精度模型可以自适应地部署在较低比特的情景，同时在较高比特情景的精度亦有改善。 | ||
| 搜索关键词： | 一种 动态 混合 精度 模型 构建 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110491111.7/，转载请声明来源钻瓜专利网。
