[发明专利]用于稀疏人工神经网络的计算装置和运算方法有效
申请号: | 201710794580.X | 申请日: | 2016-01-20 |
公开(公告)号: | CN107545303B | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/06 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 任岩 |
地址: | 100190 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 稀疏 人工 神经网络 计算 装置 运算 方法 | ||
1.一种用于稀疏人工神经网络的计算装置,其特征在于,包括:
映射单元,用于接收输入数据,输入数据包括输入神经元、连接关系和权值;然后根据连接关系将每个权值一一对应于相应的输入神经元,得到处理后的神经元和处理后的权值;其中,所述连接关系表示每个输入神经元和每个输出神经元是否有对应的连接关系的权值;
运算单元,用于接收指令、处理后的神经元和处理后的权值,然后根据指令对所述处理后的神经元和处理后的权值执行人工神经网络运算,得到输出神经元。
2.如权利要求1所述的用于稀疏人工神经网络的计算装置,其特征在于,所述用于稀疏人工神经网络的计算装置还包括存储装置,用于存储输入数据、权值数据、连接关系数据和指令;所述连接关系包括:
第一种情形:
采用1表示有连接,0表示无连接,每个输出神经元与所有输入输出神经元的连接状态组成一个0和1的字符串来表示该输出神经元的连接关系;或者
采用1表示有连接,0表示无连接,每个输入神经元与所有输出神经元的连接状态组成一个0和1的字符串来表示该输入神经元的连接关系;或者
第二种情形:
将一输出神经元的第一个有连接的输入神经元所在的位置距离第一个输入神经元的距离、所述输出神经元的第二个有连接的输入神经元距离第一个有连接的输入神经元的距离,所述输出神经元的第三个有连接的输入神经元距离第二个有连接的输入神经元距离,……,依次类推,直到穷举所述输出神经元的所有输入神经元,来表示所述输出的连接关系。
3.如权利要求1或2所述的用于稀疏人工神经网络的计算装置,其特征在于,所述运算单元包括乘法器、加法树和非线性函数单元;所述运算单元接收指令对所述处理后的神经元和处理后的权值执行运算,得到输出神经元包括:所述乘法器将所述处理后的神经元和处理后的权值相乘,得到加权神经元数据;和/或,所述加法树将加权神经元数据相加得到总加权神经元数据;和/或,所述非线性函数单元对总加权神经元数据执行激活函数运算,得到输出神经元。
4.如权利要求3所述的用于稀疏人工神经网络的计算装置,其特征在于,所述运算单元将加权神经元数据相加得到总加权神经元数据包括将加权神经元数据执行加法树运算得到总加权神经元数据。
5.如权利要求4所述的用于稀疏人工神经网络的计算装置,其特征在于,所述运算单元将总加权神经元数据和偏置相加得到加偏置神经元数据,和/或,对加偏置神经元数据执行激活函数运算,得到输出神经元。
6.如权利要求5所述的用于稀疏人工神经网络的计算装置,其特征在于,所述激活函数包括sigmoid函数、tanh函数或ReLU函数。
7.如权利要求6所述的用于稀疏人工神经网络的计算装置,其特征在于,所述用于稀疏人工神经网络的计算装置包括存储装置,所述存储装置还用于存储输出神经元。
8.如权利要求7所述的用于稀疏人工神经网络的计算装置,其特征在于,映射单元将部分或全部的相应的输入神经元存储在存储装置中。
9.如权利要求8所述的用于稀疏人工神经网络的计算装置,其特征在于,所述用于稀疏人工神经网络的计算装置还包括:
指令缓存,用于存储所述指令;以及
控制单元,用于从所述指令缓存中读取指令,并将读取的指令译码。
10.如权利要求9所述的用于稀疏人工神经网络的计算装置,其特征在于,所述用于稀疏人工神经网络的计算装置还包括:输入神经元缓存,用于缓存输入神经元;和权值缓存,用于缓存权值。
11.如权利要求10所述的用于稀疏人工神经网络的计算装置,其特征在于,所述用于稀疏人工神经网络的计算装置还包括:输出神经元缓存,用于缓存输出神经元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710794580.X/1.html,转载请声明来源钻瓜专利网。