[发明专利]神经网络训练装置及相关产品

权利要求书

1.一种神经网络训练装置，其特征在于，所述训练装置包括：X个神经网络芯片，所述X个神经网络芯片之间连接，所述X的取值范围为大于或等于2的整数；所述X个神经网络芯片中的Y个神经网络芯片用于接收神经网络训练数据执行训练运算得到Y个权值梯度，所述Y≤X；所述X个神经网络芯片中的Z个神经网络芯片用于接收所述Y个神经网络芯片发送的权值梯度，并根据预先策略将所述Y个权值梯度整合成所述训练的最终权值梯度，所述Z≤X；

若所述X个神经网络芯片以星型拓扑结构相连，且Y＝X-1，Z＝1，其中，所述Y个神经网络芯片为(X-1)个从神经网络芯片，所述(X-1)个从神经网络芯片用于接收神经网络训练数据执行训练运算得到(X-1)个权值梯度；所述Z个神经网络芯片为主神经网络芯片，所述主神经网络芯片用于接收所述(X-1)个神经网络芯片发送的权值梯度，并根据预先策略将所述(X-1)个权值梯度整合成所述训练的最终权值梯度；

其中，所述主神经网络芯片用于根据预先策略将所述(X-1)个权值梯度整合成所述训练的最终权值梯度，具体包括：

所述主神经网络芯片用于将所述(X-1)个权值梯度中对应位置的非零值整合至所述训练的最终权值梯度；

或，将所述(X-1)个权值梯度中对应位置的零值整合至所述训练的最终权值梯度；

或，将所述(X-1)个权值梯度中预先设定的多个指定位置的非零值整合至所述训练的最终权值梯度；

若所述X个神经网络芯片以环型拓扑结构相连，且Y＝Z＝X，其中，所述X个神经网络芯片用于接收神经网络训练数据执行训练运算得到X个权值梯度，并将各自的权值梯度按照预设规则发送至相邻的神经网络芯片；所述X个神经网络芯片用于根据预先策略将所述X个权值梯度整合成所述训练的最终权值梯度；

其中，所述X个神经网络芯片用于根据预先策略将所述X个权值梯度整合成所述训练的最终权值梯度，具体包括：

所述X个神经网络芯片用于将所述X个权值梯度中对应位置的非零值整合至所述训练的最终权值梯度；

或，将所述X个权值梯度中对应位置的零值整合至所述训练的最终权值梯度；

或，将所述X个权值梯度中预先设定的多个指定位置的非零值整合至所述训练的最终权值梯度。

2.根据权利要求1所述的装置，其特征在于，

所述神经网络芯片包括主处理电路以及多个基础处理电路；所述主处理电路或多个基础处理电路中至少一个电路包括：数据类型运算电路；所述数据类型运算电路，用于执行第一类型数据与第二类型数据之间的转换；

其中，所述多个基础处理电路呈阵列分布；每个基础处理电路与相邻的其他基础处理电路连接，所述主处理电路连接第1行的n个基础处理电路、第m行的n个基础处理电路以及第1列的m个基础处理电路；

所述主处理电路，用于执行神经网络运算中的各个连续的运算以及和与其相连的所述基础处理电路传输数据；

所述多个基础处理电路，用于依据传输的数据以并行方式执行神经网络中的运算，并将运算结果通过与所述主处理电路连接的基础处理电路传输给所述主处理电路。

3.根据权利要求2所述的装置，其特征在于，

所述数据类型转换电路，具体用于将连续数据转化为离散数据，并将该离散数据进行K比特量化，所述K为大于1的整数；

其中，所述数据类型转换电路包括预处理电路、随机数生成电路和判断电路，所述预处理电路用于对连续数据进行预处理得到预处理数据；所述随机数生成电路用于生成(0,1)之间的随机数；所述判断电路用于比较该预处理数据和随机数得到离散数据，并将所述离散数据量化为K比特数据。

4.根据权利要求2所述的装置，其特征在于，

所述主处理电路，用于获取待计算的数据块以及运算指令，依据该运算指令对所述第二类型的待计算的数据块划分成分发数据块以及广播数据块；对所述分发数据块进行拆分处理得到多个基本数据块，将所述多个基本数据块分发至与其连接的基础处理电路，将所述广播数据块广播至与其连接的基础处理电路；

所述基础处理电路，用于对所述基本数据块与所述广播数据块以第二数据类型执行内积运算得到结果，将所述运算结果发送至所述主处理电路；

或将所述基本数据块与所述广播数据块转发给其他基础处理电路以第二数据类型执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路。