[发明专利]优化深度神经网络的参数的处理系统、集成电路及板卡

说明书

本发明涉及优化深度神经网络的参数的设备，其中本发明的设备包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及优化深度神经网络的参数的处理系统、集成电路及板卡。

背景技术

随着人工智能技术的普及与发展，深度神经网络模型趋向复杂，有些模型包括上百层的算子，使得运算量急速上升。

减少运算量有多种途经，其中一种便是量化。量化指的是把以高精度浮点数表示的权值和激活值转换用低精度的整数来近似表示，其优点包括低内存带宽、低功耗、低计算资源占用以及低模型存储需求等。

量化是目前常用简化数据量的方式，但量化操作尚缺硬件支持，对于现有的加速器来说，大都采用离线量化数据，故需要通用处理器来辅助处理，效率不佳。

因此，一种高能效的量化硬件是迫切需要的。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了一种优化深度神经网络的参数的处理系统、集成电路及板卡。

在一个方面中，本发明揭露一种优化深度神经网络的参数的处理系统，包括近数据处理装置及加速装置。近数据处理装置用以存储并量化运行于深度神经网络的原始数据，以产生量化数据。加速装置用以基于量化数据训练深度神经网络，以产生并量化训练结果。其中，近数据处理装置基于量化后的训练结果更新参数，图像数据基于更新后参数推理深度神经网络。

在另一个方面，本发明揭露一种集成电路装置，包括前述的元件，还揭露一种板卡，包括前述的集成电路装置。

本发明实现了在线动态统计的量化，减少不必要的数据访问，达到高精度参数更新的技术功效，使得神经网络模型更精准且更轻量，且数据直接在内存端进行量化，抑制因量化长尾分布数据所导致的误差。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出本发明实施例的板卡的结构图；

图2是示出本发明实施例的集成电路装置的结构图；

图3是示出本发明实施例的计算装置的内部结构示意图；

图4是示出本发明实施例的处理器核的内部结构示意图；

图5是示出当一个处理器核欲将数据写入至另一个集群的处理器核时的示意图；

图6是示出本发明实施例与量化运算相关硬件的示意图；

图7是示出本发明实施例的统计量化器的示意图；

图8是示出本发明实施例的缓存控制器与缓存阵列的示意图；

图9是示出本发明实施例的近数据处理装置的示意图；

图10是示出本发明实施例的优化器的示意图；以及

图11是示出本发明另一个实施例将原始数据进行量化的方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。