[发明专利]一种基于数据流的神经网络多引擎同步计算系统

说明书

本发明实施例公开了一种基于数据流的神经网络多引擎同步计算系统。该系统包括：至少两个计算引擎，每个所述计算引擎包括至少两个计算模块和至少一个缓存模块，所述计算模块用于计算所述缓存模块或上一层计算模块提供的输入计算图以得到输出计算图；至少一个同步模块，每个所述同步模块对应于每个所述计算引擎中同一层的所述缓存模块，所述同步模块用于监测同一层的所述缓存模块存储的输入计算图的数据量，在每个输入计算图的数据量都达到对应预设值时控制每个所述缓存模块将存储的输入计算图输入给下一层计算模块。本发明实施例实现了简单、高效且易于拓展的神经网络多引擎计算时多条数据流之间进行同步。

技术领域

本发明实施例涉及神经网络技术，尤其涉及一种基于数据流的神经网络多引擎同步计算系统。

背景技术

神经网络加速系统通常会采用多个计算引擎来同时计算多幅计算图，从而增加系统的计算帧率。当系统采用多个计算引擎同时工作时，每个计算引擎都有一条数据流，数据流之间需要进行同步操作来保证所有数据流的工作状态相同，从而保证各数据流的计算结果都正确。

现有技术对多条数据流进行同步通常采用的方法为：每个计算引擎中使用一个状态控制模块对计算引擎内的所有子模块进行监测和控制，然后计算引擎将各自的状态反馈给顶层的同步控制模块，该同步控制模块将所有计算引擎的状态进行整理和同步，同时还要和顶层中所有计算引擎的共享模块进行状态交互和同步，顶层的同步控制模块确定所有计算引擎和共享模块都同步之后才发送同步控制信号到各计算引擎和共享模块，从而使能各计算引擎中的模块进行工作，数据流操作得以向下进行。

但上述多条数据流同步的技术会导致这会使得数据流之间的同步控制机制极其复杂，需要同时检测每个计算引擎中各计算模块的状态，综合所有计算引擎的状态来判断各计算引擎以及顶层共享模块是否准确同步，然后发送控制命令到各计算引擎，增加同步控制时间开销，影响多条数据流并行工作的效率，此外复杂的同步控制机制导致系统的设计复杂，需要消耗更多的逻辑资源，多个计算引擎之间的互连也比较复杂，导致系统的电路设计的时序收敛比较困难，此外系统的拓展性较差，计算引擎增加时会导致同步控制机制复杂度增加。

发明内容

本发明实施例提供一种基于数据流的神经网络多引擎同步计算系统，以实现简单、高效且易于拓展的神经网络多引擎计算时多条数据流之间进行同步。

为达此目的，本发明实施例提供了一种基于数据流的神经网络多引擎同步计算系统，该系统包括：

至少两个计算引擎，每个所述计算引擎包括至少两个计算模块和至少一个缓存模块，所述计算模块用于计算所述缓存模块或上一层计算模块提供的输入计算图以得到输出计算图；

至少一个同步模块，每个所述同步模块对应于每个所述计算引擎中同一层的所述缓存模块，所述同步模块用于监测同一层的所述缓存模块存储的输入计算图的数据量，在每个输入计算图的数据量都达到对应预设值时控制每个所述缓存模块将存储的输入计算图输入给下一层计算模块。

进一步的，所述至少一个缓存模块还包括首层缓存模块，所述至少一个同步模块还包括首层同步模块，所述首层同步模块用于监测所述首层缓存模块存储的输入计算图的数据量，在每个输入计算图的数据量都达到对应预设值时控制所述首层缓存模块将存储的输入计算图输入给第一层计算模块。

进一步的，该系统还包括：

首层共享模块，用于监测任意一个所述计算引擎的所述首层缓存模块存储的输入计算图的数据量，在所述输入计算图的数据量达到对应预设值时控制全部所述计算引擎的第一层计算模块开始计算。

进一步的，所述至少一个同步模块还包括底层同步模块，所述底层同步模块用于监测最后一层计算模块得到的输出计算图的数据量，在每个输出计算图的数据量达到对应预设值时控制每个最后一层计算模块将得到的输出计算图输出。

进一步的，所述同步模块包括计数器，所述计数器用于监测所述缓存模块存储的输入计算图的数据量。