[发明专利]一种计算装置及相关产品

摘要

本申请提供一种计算装置及相关产品，所述计算装置用于执行全连接神经网络训练运算，本申请提供的计算装置具有成本低、功耗低的优点。

主权项

1.一种计算装置，其特征在于，所述计算装置用于执行全连接神经网络训练运算，所述全连接神经网络训练包括：α层，所述α层中至少有一层第i层为全连接层，所述计算装置包括：运算单元以及控制器单元；所述运算单元包括：一个主处理电路和从处理电路，所述α为大于等于2的整数；/n所述控制器单元，用于获取第i层输入数据、第i层权值以及训练指令；/n所述控制器单元，还用于解析该训练指令得到正向计算指令和反向计算指令，将正向计算指令解析得到多个正向运算指令，将多个运算指令、所述输入数据以及所述权值发送给所述主处理电路；/n所述主处理电路，用于将所述第i层输入数据广播给所述从处理电路，将所述第i层权值拆分成多个数据块，将多个数据块分发给所述从处理电路，将所述多个运算指令发送给所述从处理电路；/n所述从处理电路，用于依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果，并将运算结果传输给所述主处理电路；/n所述主处理电路，用于对所述运算结果进行拼接处理得到计算结果；/n所述主处理电路，还用于对所述计算结果进行后续处理得到全连接正向计算结果；/n所述控制器单元，还用于解析所述反向计算指令得到多个反向运算指令，将所述多个反向运算指令以及第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路；/n所述主处理电路，还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度，将第i层输入结果梯度拆分成多个反向输入数据块，将多个反向输入数据块分发给所述从处理电路；将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路；/n所述从处理电路，用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果，依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果；将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路；/n所述主处理电路，用于将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度，将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度，利用第i层权值梯度更新第i层权值。/n