[发明专利]用于稀疏神经网络的低功率架构在审
| 申请号： | 201780076565.X | 申请日： | 2017-11-13 |
| 公开（公告）号： | CN110073370A | 公开（公告）日： | 2019-07-30 |
| 发明（设计）人： | Y·G·图拉希亚;J·贾法里;A·潘达;K·查萨 | 申请（专利权）人： | 高通股份有限公司 |
| 主分类号： | G06N3/063 | 分类号： | G06N3/063;G06F1/3206;G06N3/04 |
| 代理公司： | 上海专利商标事务所有限公司 31100 | 代理人： | 陈炜;唐杰敏 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 标签 神经网络 激活 乘法器 权重和 加载 权重 计算机可读介质 累加器单元 标签存储 操作数 低功率 功耗 取回 稀疏 架构 更新 | ||
1.一种降低神经网络的功耗的方法，包括：
从标签存储中取回用于所述神经网络中的权重的第一标签值或者用于所述神经网络中的激活的第二标签值的至少一个标签值，所述第一标签值指示所述权重是否为零，并且所述第二标签值指示所述激活是否为零，其中所述权重和所述激活将作为操作数对被加载到乘法器-累加器(MAC)的乘法器；
确定所述至少一个标签值是否指示零值；以及
当所述至少一个标签值指示所述零值时，禁止将所述权重和所述激活加载到所述乘法器。
2.根据权利要求1所述的方法，其特征在于，所述权重和所述激活被储存在操作数存储中。
3.根据权利要求2所述的方法，其特征在于，禁止将所述权重和所述激活加载到所述乘法器包括阻止所述操作数存储的用于输出所述权重和所述激活的输出线进行翻转。
4.根据权利要求2所述的方法，其特征在于，进一步包括：
当所述激活被更新时更新所述标签存储处的所述第二标签值；以及
当所述第二标签值指示所述激活为零时，禁止对所述操作数存储中的所述激活进行更新。
5.根据权利要求1所述的方法，其特征在于，所述神经网络是深度卷积神经网络(DCN)。
6.根据权利要求1所述的方法，其特征在于，进一步包括：
当所述至少一个标签值指示所述零值时，禁止将先前累加的值加载到所述MAC的加法器。
7.根据权利要求6所述的方法，其特征在于，禁止将所述先前累加的值加载到所述加法器包括阻止储存所述先前累加的值的存储的输出线进行翻转。
8.根据权利要求6所述的方法，其特征在于，进一步包括当所述至少一个标签值指示所述零值时，由复用器选择所述先前累加的值作为新的累加值，所述复用器的第一输入是所述先前累加的值，所述复用器的第二输入是所述加法器的输出。
9.根据权利要求8所述的方法，其特征在于，进一步包括当所述第一标签值和所述第二标签值指示所述权重和所述激活两者都非零时，由所述复用器选择所述加法器的输出作为所述新的累加值。
10.根据权利要求1所述的方法，其特征在于，进一步包括：
确定用于所述权重的所述第一标签值；
确定用于所述激活的所述第二标签值；以及
将所述第一标签值和所述第二标签值储存在所述标签存储中。
11.一种用于降低神经网络的功耗的设备，包括：
用于从标签存储中取回用于所述神经网络中的权重的第一标签值或者用于所述神经网络中的激活的第二标签值的至少一个标签值的装置，所述第一标签值指示所述权重是否为零，并且所述第二标签值指示所述激活是否为零，其中所述权重和所述激活将作为操作数对被加载到乘法器-累加器(MAC)的乘法器；
用于确定所述至少一个标签值是否指示零值的装置；以及
用于在所述至少一个标签值指示所述零值时禁止将所述权重和所述激活加载到所述乘法器的装置。
12.根据权利要求11所述的设备，其特征在于，所述权重和所述激活被储存在操作数存储中。
13.根据权利要求12所述的设备，其特征在于，用于禁止将所述权重和所述激活加载到所述乘法器的装置被配置成阻止所述操作数存储的用于输出所述权重和所述激活的输出线进行翻转。
14.根据权利要求12所述的设备，其特征在于，进一步包括：
用于在所述激活被更新时更新所述标签存储处的所述第二标签值的装置；以及
用于在所述第二标签值指示所述激活为零时禁止对所述操作数存储中的所述激活进行更新的装置。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于高通股份有限公司，未经高通股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201780076565.X/1.html，转载请声明来源钻瓜专利网。
