[发明专利]一种基于数据流架构的神经网络计算系统及方法

说明书

本发明实施例公开了一种基于数据流架构的神经网络计算系统及方法。该基于数据流架构的神经网络计算系统包括：片外存储器和神经网络加速模块，所述神经网络加速模块包括转换单元、片内存储器和计算单元；所述片外存储器用于存储数据；所述转换单元连接在所述片内存储器和所述片外存储器之间，用于实现所述片外存储器的第一通信总线和所述片内存储器的第二通信总线之间的转换，以将所述数据存储至所述片内存储器；所述计算单元通过第二通信总线和所述片内存储器直接连接，用于基于从所述片内存储器接收的所述数据进行计算。通过在片内存储器和片外存储器之间布置一个转换单元，实现了保证成本的情况下提高数据流架构的神经网络计算的速度和效率。

技术领域

本申请实施例涉及神经网络技术领域，例如一种基于数据流架构的神经网络计算系统及方法。

背景技术

随着计算机的快速发展，神经网络数据的计算越来越重要。神经网络的计算需要大量的数据。数据流架构是根据数据的不断流动完成整个计算过程，其中没有指令集的参与。传统的指令集架构要经过几个阶段才能完成一次完整操作，取指令阶段，指令译码阶段，执行指令阶段，访存取数阶段，结果写回阶段，整个过程效率极低。和指令集架构相比，数据流架构可以最大化芯片的性能和效率，但是因为数据流架构要求时刻有数据在流动，因此对存储，总线和带宽提出了严格的需求。

目前，对于数据流架构的人工智能加速芯片来说，这些计算的数据主要来源于两种方式。方式一：通过总线访问外部存储，比如通过AXI(Advanced eXtensible Interface)总线访问片外的双倍数据速率(Double Data Rate，DDR)存储器；方式二：通过在片上放一个容量比较大的随机存取存储器(Random Access Memory，RAM)，神经网络每一层的输出都存储在片上。

然而，虽然方式一成本相对不高，但是传输速率受限于总线的速率和带宽。因为往往一个芯片会有多个设备同时访问外部存储，且同一时间外部存储只能是读操作或者写操作，且读写不能同时。这样严重影响了数据的传输效率，而神经网络又必须收到数据才能开始计算，所以方式一的数据传输时间和数据的处理时间按很难重叠起来，造成性能瓶颈。方式二虽然通过本地存储节省了一份数据的传输时间，但是本地的存储的容量必须要大于神经网络中数据量最大的那一层才能实现完整功能，这样就会造成芯片的面积很大，导致芯片成本急剧升高。

发明内容

本发明实施例提供一种基于数据流架构的神经网络计算系统及方法，以实现保证成本的情况下提高数据流架构的神经网络计算的速度和效率。

第一方面，本发明实施例提供了一种基于流的神经网络计算系统，包括：

片外存储器和神经网络加速模块，所述神经网络加速模块包括转换单元、片内存储器和计算单元；

所述片外存储器用于存储数据；

所述转换单元连接在所述片内存储器和所述片外存储器之间，用于实现所述片外存储器的第一通信总线和所述片内存储器的第二通信总线之间的转换，以将所述数据存储至所述片内存储器；

所述计算单元通过第二通信总线和所述片内存储器直接连接，用于基于从所述片内存储器接收的所述数据进行计算。

可选的，所述计算单元通过第一通信总线和所述片外存储器直接连接，用于基于从片外存储器直接接收的所述数据进行计算。

可选的，所述计算单元包括：

数据流向选择子单元，用于控制所述数据的流向。

可选的，所述第一通信总线为AXI总线，所述转换单元和所述片外存储器之间通过AXI总线协议对所述数据进行交互或所述计算单元和所述片外存储器之间通过AXI总线协议对所述数据进行交互。