[发明专利]一种动态多精度神经网络加速单元

说明书

本发明涉及集成电路领域及人工智能领域，具体地说涉及系统级别的集成电路芯片，特别涉及一种动态多精度神经网络加速单元。本发明通过将PE单元阵列化后，再次将PE单元阵列作为阵列单元的双重阵列设计，来支持不同的神经网络层级运算，满足不同算法以及不同数据精度的需求。还对神经网络计算单元进行硬件加速设计，在整体设计中加入流水线设计，极大提升数据吞吐率与运算速度，且重点优化神经运算单元的乘加单元，提升硬件资源的复用，极大减少硬件面积；能根据神经网络模型的需要，满足不同精度的数据类型运算；同时支持神经网络中的基本运算，例如卷积，池化，非线性映射，矩阵乘等。

技术领域

本发明涉及集成电路领域及人工智能领域，具体地说涉及系统级别的集成电路芯片，特别涉及一种动态多精度神经网络加速单元。

背景技术

随着数据的爆炸增长以及计算性能的飞速提升，机器学习已经变得越来越火热，逐渐渗入到我们生活中的各个角落：常见的应用有语音视频比如苹果公司的Siri以及微软公司的Cortana；人脸识别如苹果公司的Apple iPhoto和谷歌公司的Google Picasa；人工智能比如谷歌旗下DeepMind公司的Alhpa Go已经击败了人类的顶尖棋手。目前，机器学习领域中最吸引人目光的是以神经网络为代表的深度学习。

深度神经网络通过建立模型模拟人类大脑的神经连接结构，在图像处理，语音识别等领域有了很大的突破。但是由于神经网络模型越来越复杂，权重数据越来越大，所需精度越来越高，以及卷积神经网络的兴起，较大的图像输入数据，对硬件提出了较高的要求。通常使用的通用处理器通用芯片由于其通用性以及分支预测，地址合并等通用功能，并不完全适用于神经网络的加速，且会占用芯片的设计面积以及资源。现有的通用处理器已经慢慢不再能满足神经网络加速的要求，于是人们开始设计专用的神经网络加速硬件来加速神经网络。

由于现场可编程逻辑门阵列(FPGA)可编程性强，作为加速器研发周期短，在它上面实现神经网络加速的研究越来越多。但目前的深度神经网络计算还是重度依赖密集的浮点矩阵乘，抛开独特的数据类型（利用稀疏压缩后的数据类型）设计，它更利于映射到GPU上（常规并行性），因此市场上依然是GPU被广泛地用于加速深度神经网络。FPGA虽然提供了卓越的能耗效率，但它并不能达到当今GPU的性能，现阶段还不适合普及。

发明内容

针对上述存在问题或不足，为了解决现有神经网络加速技术存在的功耗、成本与面积等问题，本发明提供了一种动态多精度神经网络加速单元，是一种专用集成电路(ASIC)，该芯片在同等的芯片面积下，相较于GPU或FPGA降低了功耗和成本，并且提高了芯片的计算性能。并且相对于一般的专用集成电路，本发明由于其可编程性以及多精度，更具有灵活性。该ASIC的实现使得低功耗低成本高性能的在线学习人工智能芯片成为可能。

具体技术方案如下：

一种动态多精度神经网络加速单元，包括：数据接口模块、配置接口模块、内存接口、输入缓冲模块、神经网络计算单元、内存调度单元、输出缓冲模块和系统控制模块。

所述配置接口模块通过向系统控制模块输送配置信息来配置整个系统。

所述数据接口模块负责向系统传输输入数据。

所述内存接口与输入缓冲模块、内存调度单元和输出缓冲模块相连；通过内存调度单元的控制以及监控下，向输入缓冲模块传输内存中储存的权重数据，或接受输出缓冲模块的运算结果数据，或通过内存调度单元控制暂存神经网络计算单元的中间运算结果。

所述输入缓冲模块与数据接口模块、内存接口和神经网络计算单元相连接，将内存中的权重数据、以及通过数据接口获得的输入数据，经过数据预处理后送入神经网络计算单元。

所述输出缓冲模块与内存调度单元、内存接口相连，在神经网络计算单元得到最终运算结果后，在内存调度单元的调度下，将运算结果排列准备，存入对应的内存地址中。