[发明专利]处理单元、处理器核、神经网络训练机及方法

说明书

本发明提供了处理单元、处理器核、神经网络训练机及方法。该处理单元包括：计算单元，用于执行神经网络节点的权重梯度计算；解压缩单元，将获取的压缩权重信号解压缩成权重信号和修剪信号，其中，所述权重信号指示各神经网络节点的权重，所述修剪信号指示各神经网络节点的权重是否在权重梯度计算中使用，所述修剪信号被用于控制是否允许访问存储所述权重计算中使用的操作数的操作数存储器，所述修剪信号还被用于控制是否允许所述计算单元利用所述权重信号和所述操作数执行权重梯度计算。本发明减少了确定神经网络的权重梯度时处理器的计算开销和存储器的访问开销。

技术领域

本发明涉及神经网络领域，更具体而言，涉及一种处理单元、处理器核、神经网络训练机及方法。

背景技术

在训练神经网络(NN)的过程中，需要反复求解更新神经网络节点的权重，求解权重时需要先确定权重梯度，并基于权重梯度和其它操作数应用梯度下降法求解权重。权重梯度的计算占了整个神经网络的很大一部分计算和存储资源。如果逐个神经网络节点地求解权重梯度，占用大量资源。因此，可以在训练的早期阶段进行修剪，将一些对计算结果影响不大的神经网络节点在计算权重梯度时不考虑。通过训练早期的修剪，就能够使大多数权重在神经网络训练的早期被排除考虑，也就是说，大多数神经网络节点的权重梯度的计算可以省去，而不会太影响精确性，从而节省了神经网络训练的功耗，加速了神经网络训练。

现有的早期修剪算法一般由软件实现。在软件实现时，修剪掉的权重梯度仍然被计算，实际上不节省计算开销和存储器访问开销。因此，需要能够真正节省处理器计算开销和存储器访问开销的技术。

发明内容

有鉴于此，本发明实施例旨在减少确定神经网络的权重梯度时处理器的计算开销和存储器的访问开销。

为了达到这个目的，第一方面，本发明提供一种处理单元，包括：

计算单元，用于执行神经网络节点的权重梯度计算；

解压缩单元，将获取的压缩权重信号解压缩成权重信号和修剪信号，其中，所述权重信号指示各神经网络节点的权重，所述修剪信号指示各神经网络节点的权重是否在权重梯度计算中使用，所述修剪信号被用于控制是否允许访问存储所述权重计算中使用的操作数的操作数存储器，所述修剪信号还被用于控制是否允许所述计算单元利用所述权重信号和所述操作数执行权重梯度计算。

可选地，所述权重信号包括多个权重位，每个权重位表示一个神经网络节点的权重；所述修剪信号包括与所述权重信号位数相同的多个指示位，其中，当指示位取第一值时，表示相应神经网络节点的权重在权重梯度计算中使用；当指示位取第二值时，表示相应神经网络节点的权重在权重梯度计算中不使用。

可选地，所述处理单元还包括：计算启用单元，耦接至所述解压缩单元，用于接收解压缩单元输出的修剪信号，并基于所述修剪信号，控制是否允许计算单元利用所述权重信号和所述操作数执行权重梯度计算。

可选地，所述计算单元为多个计算单元，每个计算单元对应于一个神经网络节点，所述多个计算单元分别通过各自的时钟开关连接至时钟端，所述计算启用单元基于所述修剪信号，控制所述多个计算单元的时钟开关的接通和断开。

可选地，所述计算单元为多个计算单元，每个计算单元对应于一个神经网络节点，所述多个计算单元分别通过各自的电源开关连接至电源端，所述计算启用单元基于所述修剪信号，控制所述多个计算单元的电源开关的接通和断开。

可选地，所述解压缩单元耦接至所述处理单元外部的第一存储控制单元，所述第一存储控制单元基于所述修剪信号，控制是否允许访问存储所述权重计算中使用的操作数的操作数存储器。

可选地，所述操作数存储器为多个操作数存储器，每个操作数存储器对应于一个神经网络节点，每个操作数存储器具有读有效端口，所述第一存储控制单元耦接到各操作数存储器的读有效端口，基于所述修剪信号，控制是否置位各操作数存储器的读有效端口。