[发明专利]一种具有低带宽激活装置的神经网络处理器及其方法

说明书

本发明提供一种神经网络处理器以及设计和使用方法。所述神经网络处理器，包括卷积装置和激活装置，其特征在于所述激活装置包括：输入接口、激活运算单元、和输出接口；其中，所述输入接口用于接收来自所述卷积装置的待激活神经元，所述输入接口的带宽与所述卷积装置输出待激活神经元的速度相关；所述激活运算单元，用于对来自所述输入接口的待激活神经元进行激活处理，所述激活运算单元的运算速度与所述卷积装置输出待激活神经元的速度相关；所述输出接口，用于输出激活处理的结果，所述输出接口的带宽与所述激活运算单元的运算速度相对应。

技术领域

本发明涉及神经网络处理器的改进，尤其涉及对其激活装置的改进。

背景技术

深度学习技术在近几年得到了飞速的发展，在解决高级抽象认知问题上，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用并具有出色的表现，因此成为了学术界和工业界的研究热点。深度神经网络是人工智能领域具有最高发展水平的感知模型之一，该类网络通过建立模型模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来了突破性进展。

近些年来，越来越多的研究者着力于开发针对神经网络的专用处理器，即神经网络处理器。与神经网络的计算过程相匹配地，神经网络处理器需要以硬件装置来实现卷积、激活、池化等操作，使得卷积、激活、池化等操作顺序地由卷积装置、激活装置、和池化装置来完成。

在传统的神经网络处理器中，考虑到激活装置以卷积装置的输出作为其输入，为了快速处理卷积装置的输出神经元，常常采用与卷积装置的输出数据量对等的大小以作为激活装置的输入位宽以及激活运算单元的规模，例如假设卷积装置一次性输出1024bit，则将激活装置的输入接口的位宽设置为1024bit，并且激活运算单元的规模也被设置为一次性可以处理1024bit。然而，在实际的使用过程中，由于神经网络中执行卷积操作的计算量巨大，卷积装置并不能保证在每个时间周期内均输出卷积结果以作为激活计算单元的输入，常常出现卷积装置在经过多个时间周期后才一次性输出一定数量的待激活神经元，而这样的间歇性使得激活装置不能连续地接收到待激活神经元。对于上述采用与卷积装置的输出数据量对等大小作为激活装置的规模的现有技术而言，激活装置的硬件存在大量的闲置时间，使得硬件资源的利用率不高。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种神经网络处理器，包括卷积装置和激活装置，其特征在于所述激活装置包括：输入接口、激活运算单元、和输出接口；

其中，所述输入接口用于接收来自所述卷积装置的待激活神经元，所述输入接口的带宽与所述卷积装置输出待激活神经元的速度相关；

所述激活运算单元，用于对来自所述输入接口的待激活神经元进行激活处理，所述激活运算单元的运算速度与所述卷积装置输出待激活神经元的速度相关；

所述输出接口，用于输出激活处理的结果，所述输出接口的带宽与所述激活运算单元的运算速度相对应。

优选地，根据所述神经网络处理器，其中所述输入接口的带宽、以及所述激活运算单元的运算速度与所述卷积装置输出待激活神经元的最快输出速度或平均输出速度相对应。

优选地，根据所述神经网络处理器，其中所述输入接口的带宽、以及所述激活运算单元的运算速度与所述卷积装置针对神经网络的最快子网络层而输出待激活神经元的速度相对应。

优选地，根据所述神经网络处理器，其中所述激活装置还包括：激活控制单元，用于控制所述输入接口、激活运算单元、和输出接口以流水线的方式针对所述卷积装置一次性输出的待激活神经元分别进行接收、处理、和输出操作。

优选地，根据所述神经网络处理器，其中所述激活控制单元还用于在所述卷积装置针对神经网络的当前子网络层实际输出待激活神经元的速度慢于所述流水线的处理速度时，暂停所述输入接口、激活运算单元、和输出接口间的数据传输。