[发明专利]用于神经网络运算、训练的装置、设备及板卡

说明书

本披露公开了用于神经网络运算的计算装置和集成电路板卡，其中该计算装置包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于该计算装置和其他处理装置的数据。本披露的方案可以加速对神经网络的训练。

技术领域

本披露一般地涉及人工智能领域。更具体地，本披露涉及用于神经网络运算的计算装置及其集成电路板卡。

背景技术

随着人工智能领域技术的不断发展，如何高效地训练神经网络以获得良好的神经网络模型成为当前关注的一个焦点。现有的神经网络在训练中通常采用浮点型数据来执行运算以期获得好的训练结果。尽管浮点型数据具有相对较高的数据精度，但在训练过程中会对运行神经网络的硬件平台提出更高的硬件要求，例如更大的存储空间、更高的功耗。另外，在一些训练场景中，使用精度相对较低的数据类型也同样可以达到与浮点型数据相同或近似的训练效果，从而使得应用浮点型数据在一些情况下并不必要。

发明内容

为了解决在上文中所提到的一些或全部的问题，提供一种对神经网络进行高效训练的方式，本披露在多个方面中提供了如下的技术方案。

在一个方面中，本披露提供一种用于神经网络运算的计算装置，包括：位宽获取单元，其配置成获取当前参与所述神经网络运算的至少两个运算对象的各自数据位宽；模式选择单元，其配置成根据所述位宽获取单元的输入结果，从多种运算模式中选择对应于所述运算对象的数据位宽组合的一种运算模式，其中每种所述运算模式与一种数据位宽的组合相对应；存储单元，其配置成存储与每种所述运算模式相对应的运算指令；以及处理单元，其配置成响应于所述模式选择单元的选择，从存储单元读取相对应的运算指令，以执行所述运算对象的神经网络运算。

在又一个方面中，本披露还提供一种集成电路板卡，包括如上所述的计算装置。

通过上述用于神经网络运算的计算装置和集成电路板，在训练神经网络的迭代训练中，本披露的方案加速神经网络的相关运算例如乘加操作，从而加速神经网络的训练过程并减小功耗。在一些应用场景中，本披露的方案还支持对执行量化操作后的数据进行复用的功能，从而减小将数据从高精度数据类型的数据量化到定点型数据的多次量化化操作，进一步缩短训练时间。另外，通过经本披露方案所训练的神经网络，其可以被广泛运用于图像处理、语音识别、数据采集等各类领域，极大地改善相关领域的效率成本。

附图说明

通过结合附图，可以更好地理解本发明的上述特征，并且其众多目的，特征和优点对于本领域技术人员而言是显而易见的，其中相同的附图标记表示相同的元件，并且其中：

图1是示出可以应用本披露的技术方案的神经网络的示例性框图；

图2是示出根据本披露实施例的神经网络中相关算子操作的示例性流程图；

图3是示出根据本披露实施例的涉及量化误差原理的曲线图；

图4是示出根据本披露实施例的用于对神经网络执行训练的设备的框图；

图5是示出根据本披露实施例的用于权值复用的示例性系统框图；

图6是示出根据本披露实施例的用于通过硬件平台来训练神经网络的方法的流程图；

图7是示出根据本披露实施例的用于神经网络运算的计算装置的框图；

图8是示出根据本披露实施例的一种组合处理装置的结构图；以及

图9是示出根据本披露实施例的一种板卡的结构示意图。

具体实施方式