[发明专利]用于深度神经网络的基于光标的自适应量化有效
申请号: | 201980060253.9 | 申请日: | 2019-09-24 |
公开(公告)号: | CN112840358B | 公开(公告)日: | 2023-05-23 |
发明(设计)人: | 李抱朴;范彦文;程治宇;包英泽 | 申请(专利权)人: | 百度时代网络技术(北京)有限公司;百度(美国)有限责任公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;王艳春 |
地址: | 100080 北京市海淀区东*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 深度神经网络(DNN)模型量化可以用于通过减小位宽来减少存储和计算负担。一种用于神经网络的基于光标的自适应量化方法,多位量化机制被公式化为具有代表可能量化位的连续光标的可微架构搜索(DAS)过程。基于光标的DAS自适应地为每个层搜索量化位。DAS过程可以经由为DNN模型的混合量化方案设计的替代性近似优化过程来加速。在搜索过程中使用新的损失函数来同时优化模型的准确度和参数大小。在量化步骤中,可以采用与光标最接近的两个整数作为位来一起量化DNN以减少量化噪声并避免局部收敛问题。 | ||
搜索关键词: | 用于 深度 神经网络 基于 标的 自适应 量化 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度时代网络技术(北京)有限公司;百度(美国)有限责任公司,未经百度时代网络技术(北京)有限公司;百度(美国)有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201980060253.9/,转载请声明来源钻瓜专利网。
- 上一篇:纸牌处置装置以及相关方法、组件和部件
- 下一篇:电容式感应水龙头