[发明专利]用于神经网络的处理器和处理方法

说明书

技术领域

本发明涉及人工智能技术领域，尤其涉及一种应用于神经网络的处理器和处理方法。

背景技术

人工智能技术在近些年来得到了迅猛的发展，在全世界范围内得到了广泛的关注，无论是工业界还是学术界都开展了人工智能技术的研究工作，目前，人工智能技术已经渗透至视觉感知、语音识别、辅助驾驶、智能家居、交通调度等各个领域。

深度学习技术是人工智能技术发展的助推器，深度学习采用深度神经网络的拓扑结构进行训练、优化及推理等，深度神经网络包括卷积神经网络、深度置信网络、循环神经网络等。以图像识别应用为例，经过反复训练、迭代，深度学习算法通过深度神经网络可以自动地获得隐藏的图像的特征数据，并且产生优于传统的基于模式识别分析方法的效果。

然而，实现深度学习技术依赖于极大的计算量。在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理，这需要所部署的神经网络运算电路(包括CPU、GPU、FPGA和ASIC等)达到每秒千亿次甚至万亿次的计算能力。随着神经网络运算电路的规模越来越大、数据吞吐量越来越高，运行功耗成为一个严重问题。

因此，神经网络处理器如何在保证高性能的同时保证高能效，是目前亟待解决的技术问题。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种神经网络的处理器及处理方法，尤其适用于存在大量接近零的计算元素的稀疏神经网络。

根据本发明的第一方面，提供了一种用于神经网络的处理器。该处理器包括：存储单元，其用于存储数据和指令；控制单元，其用于获得保存在所述存储单元的指令并发出控制信号；计算单元，其用于从所述存储单元获得神经网络中的一层的节点值和对应的权重值以获得下一层的节点值，其中，当至少待计算元素之一小于阈值时，该计算单元不执行该计算元素的乘法操作，所述待计算元素包括节点值和权重值。

在本发明的一个实施例中，所述计算单元包括：乘法单元，用于完成节点值和权重值的乘法操作；加法单元，用于对乘法单元的计算结果进行累加；比较单元，用于将所述计算元素与阈值进行比较，当所述计算元素小于阈值时，该比较单元输出第一控制信号以指示所述乘法单元不执行该计算元素的乘法操作，当所述计算元素大于等于阈值时，该比较单元输出第二控制信号以指示所述乘法单元执行该计算元素的乘法操作。

在本发明的一个实施例中，所述计算单元还包括：数据选择器，其控制端与所述比较单元的输出连接，第一输入端接入零值，第二输入端接入所述乘法单元的输出，当该数据选择器接收到所述第一控制信号时，选择将所述零值接入到所述加法单元，当该数据选择器接收到所述第二控制信号时，选择将所述乘法单元的输出接入至所述加法单元。

在本发明的一个实施例中，所述数据选择器是二选一的数据选择器。

在本发明的一个实施例中，所述第一控制信号是“0”，所述第二控制信号是“1”。

在本发明的一个实施例中，所述阈值的范围是10^-8至10^-2。

在本发明的一个实施例中，所述阈值基于神经网络中计算元素的统计来动态调整。

根据本发明的第二方面，提供了一种用于神经网络的处理方法。该方法包括：获得神经网络中的一层的节点值和对应的权重值；对所述一层的节点值和对应的权重值执行卷积操作以获得下一层的节点值，其中，在所述卷积操作中，当节点值或对应的权重值中任一项小于阈值时，不执行对该节点值和其对应的权重值的乘法操作。

在本发明的处理方法中，所述阈值的范围是10^-8至10^-2。

在本发明的处理方法中，所述阈值基于神经网络中计算元素的统计来动态调整。

与现有技术相比，本发明的优点在于：通过在神经网络处理器的计算单元中引入新的电路结构，使得当存在接近0的特殊计算元素时，跳过针对该元素的乘法运算，以加快计算速率并节省计算功耗，从而提高了神经网络处理器的计算效率。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了现有技术中神经网络的拓扑示意图；

图2示出了现有技术中神经网络的处理过程示意图；

图3示出了现有技术中通用的卷积层的处理示意图；

图4示出了根据本发明一个实施例的神经网络处理器的示意框图；