[发明专利]神经网络权重编码方法、计算装置及硬件系统有效
申请号: | 201780042640.0 | 申请日: | 2017-12-29 |
公开(公告)号: | CN109791626B | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 张悠慧;季宇;张优扬 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 北京睿邦知识产权代理事务所(普通合伙) 11481 | 代理人: | 徐丁峰 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种用于神经网络的非拼接权重编码方法,包括:权重定点化步骤,将权重矩阵的每个矩阵元素转换为具有预定比特位数的第一数(S210);误差引入步骤,在所述第一数中引入具有预定标准差的噪声,获得第二数(S220);和训练步骤,对以第二数表示的权重矩阵进行训练,训练至收敛后,再将训练结果作为最终的权重矩阵写入对应表示一个矩阵元素的单个模拟电路器件中(S230),其中,通过单个模拟电路器件而非多个模拟电路器件的拼接来表示单个矩阵元素。根据所述用于神经网络的编码方法,可以在不影响效果的情况下,极大的降低资源的消耗,从而节省资源开销,以在有限资源的条件下布置规模巨大的神经网络。 | ||
搜索关键词: | 神经网络 权重 编码 方法 计算 装置 硬件 系统 | ||
【主权项】:
1.一种用于神经网络的非拼接权重训练方法,包括:权重定点化步骤,将权重矩阵的每个矩阵元素转换为具有预定比特位数的第一数;误差引入步骤,在所述第一数中引入具有预定标准差的噪声,获得第二数;和训练步骤,对以第二数表示的权重矩阵进行训练,训练至收敛后,得到训练结果,其中,所述训练结果将作为最终的权重矩阵,其各个矩阵元素被逐个写入对应表示一个矩阵元素的单个模拟电路器件中,其中通过单个模拟电路器件而非多个模拟电路器件的拼接来表示单个矩阵元素。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201780042640.0/,转载请声明来源钻瓜专利网。