[发明专利]一种计算装置及相关产品

权利要求书

1.一种计算装置，其特征在于，包括运算单元、指令控制单元以及压缩单元；所述计算装置获取训练样本、训练模型；所述训练模型为：神经网络训练模型和/或非神经网络训练模型，所述训练模型包括n层结构；

所述指令控制单元用于获取训练指令，根据所述训练指令得到正向运算指令和反向运算指令；将所述正向运算指令和所述反向运算指令分别发送给所述运算单元；

所述运算单元用于根据所述正向运算指令对所述训练样本进行n层正向运算得到第n层正向运算结果；根据所述第n层正向运算结果获得第n层输出数据梯度；

所述运算单元还用于根据所述反向运算指令对所述第n层输出数据梯度执行n层反向运算得到所述训练模型的权值梯度；所述训练模型的权值梯度包括n层中每层的权值梯度；

所述压缩单元用于对所述训练模型的权值梯度进行处理，以对应得到处理后的权值梯度；

所述计算装置用于依据所述处理后的权值梯度对所述训练模型的权值进行更新，以完成训练。

2.根据权利要求1所述的计算装置，其特征在于，

所述指令运算单元还用于将所述正向运算指令进行译码得到第一微指令和第二微指令；

所述压缩单元，还用于根据所述第一微指令对所述训练样本进行处理，得到处理后的训练样本；

所述运算单元，具体用于根据所述第二微指令对所述处理后的训练样本进行n层正向运算得到第n层正向运算结果。

3.根据权利要求1所述的计算装置，其特征在于，

所述运算单元，具体用于根据所述反向运算指令对所述第n层输出权值梯度执行第n层反向运算得到所述训练模型中第n层的权值梯度；

所述压缩单元，还用于对所述第n层的权值梯度进行处理，得到处理后的第n层的权值梯度；

所述计算装置，具体用于利用所述处理后的第n层的权值梯度对所述训练模型中第n层的权值进行更新。

4.根据权利要求3所述的计算装置，其特征在于，

所述运算单元，还用于获取第n-1层输出数据梯度，对所述第n-1层输出数据梯度执行第n-1层反向运算得到第n-1层的权值梯度；

所述压缩单元，还用于对所述第n-1层的权值梯度进行处理，得到处理后的第n-1层的权值梯度；

所述计算装置，具体用于依据所述处理后的第n-1层的权值梯度对所述训练模型中第n-1层的权值进行更新，依次类推，所述计算装置将依据所述训练模型中处理后的每层的权值梯度对应对所述训练模型的权值进行更新，以完成训练。

5.根据权利要求1-4中任一项所述的计算装置，其特征在于，

所述压缩单元，用于确定数据处理方式，根据所述数据处理方式对所述训练模型的权值梯度进行处理，以对应得到处理后的权值梯度；所述数据处理方式包括以下中的至少一项：剪枝处理、量化处理以及编码处理。

6.根据权利要求5所述的计算装置，其特征在于，所述压缩单元还包括控制单元，在所述压缩单元内部通过所述控制单元对所述处理方式对应的运算状态进行修改，以实现多种处理方式的数据处理；所述运算状态包括以下中的至少一项：第一状态、第二状态、第三状态以及第四状态，其中，

所述第一状态，用于指示所述压缩单元处于初始状态，不进行任何数据处理；

所述第二状态与所述剪枝处理关联，用于指示所述压缩单元将进行数据的剪枝处理；

所述第三状态与所述量化处理关联，用于指示所述压缩单元将进行数据的量化处理；

所述第四状态与所述编码处理关联，用于指示所述压缩单元将进行数据的编码处理。

7.根据权利要求5所述的计算装置，其特征在于，当所述数据处理方式为剪枝处理时，

所述压缩单元，具体用于根据所述剪枝处理，将绝对值大于或等于第一阈值的权值梯度进行删除，以对应得到处理后的权值梯度。

8.根据权利要求7所述的计算装置，其特征在于，

所述压缩单元，具体用于根据所述训练模型的权值梯度的位置关系数据，采用所述剪枝处理将绝对值大于或等于第一阈值的所述权值数据进行删除，以得到处理后的权值梯度。