[发明专利]一种深度神经网络推理方法及计算设备在审
| 申请号： | 201710524164.8 | 申请日： | 2017-06-30 |
| 公开（公告）号： | CN109214515A | 公开（公告）日： | 2019-01-15 |
| 发明（设计）人： | 张长征;陈晓仕;涂丹丹 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06N5/04 | 分类号： | G06N5/04;G06N3/08 |
| 代理公司： | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人： | 王仲凯 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及神经网络领域，具体涉及一种深度神经网络推理方法及计算设备。该方法包括接收向第一深度神经网络模型中的运算层输入的输入特征；确定运算层对应的索引值；根据运算层的索引值确定运算层的码本；将输入特征按照预设的第一量化规则进行量化；在运算层中，根据量化后的输入特征查询码本中对应量化后的输入特征的码字完成运算层对输入特征的运算。本申请实施例中，会将每个量化模型参数和每个量化输入特征进行乘积得到码本，在进行计算时，只要将实际输入的输入特征量化成量化输入特征，直接查码本获得该量化输入特征的浮点乘结果，从而快速完成运算，由于无需实质的浮点乘运算，能够大大加速深度神经网络的推理速度。 | ||
| 搜索关键词： | 输入特征 量化 运算层 神经网络 码本 推理 计算设备 浮点 索引 运算 神经网络模型 模型参数 查询码 乘运算 码字 预设 申请 | ||
【主权项】：
1.一种深度神经网络推理方法，其特征在于，包括：接收向第一深度神经网络模型中的运算层输入的输入特征；确定所述运算层对应的索引值，一个运算层的索引值对应一个运算层的码本，所述运算层的码本为所述运算层的码字的集合，所述运算层的码本中单个码字为所述运算层的单个量化模型参数与单个量化输入特征的乘积，所述运算层的每个量化模型参数分别与所述运算层的每个量化输入特征的乘积得到的码字的集合为所述运算层的码本；所述运算层的每个量化模型参数为将第二深度神经网络模型的模型参数按照预设的第二量化规则进行量化得到，所述运算层的每个量化输入特征为将所述第二深度神经网络模型对应所述运算层的输入特征按照所述预设的第一量化规则进行量化得到，所述第一深度神经网络模型为根据所述每个量化模型参数和所述每个量化输入特征对所述第二深度神经网络模型重训练得到；根据所述运算层的索引值确定所述运算层的码本；将所述输入特征按照预设的第一量化规则进行量化；在所述运算层中，根据量化后的所述输入特征查询所述码本中对应所述量化后的输入特征的码字完成所述运算层对所述输入特征的运算。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710524164.8/，转载请声明来源钻瓜专利网。
