[发明专利]深度学习引擎并行处理数据方法、装置、设备及储存介质

说明书

本申请实施例公开了一种深度学习引擎并行处理数据方法、装置、设备及储存介质，本申请公开了一种深度学习引擎并行处理数据方法，该方法包括：获取存储的多个数据集、参数集和偏置集；对所述多个数据集分流为多个节点数据集；基于所述参数集对所述多个节点数据集进行预处理；基于多个计算引擎根据所述参数集和偏置集对多个节点数据集进行同时计算以并行输出多个计算结果。本申请实施例提供的一种深度学习引擎并行处理数据方法，在硬件数据流架构引入多引擎加速方法，减少器件的资源浪费，加快了AI的数据流硬件加速计算，对数据集进行多输入多输出的数据流AI硬件加速。

技术领域

本发明涉及深度学习计算技术领域，尤其涉及深度学习引擎并行处理数据方法、装置、设备及储存介质。

背景技术

近年来人工智能（Artificial Intelligence，AI）不断的爆发热潮，与设备计算能力，深度学习网络结构的发展分不开。在整个网络的计算都使用浮点计算的情况下，会对中央处理器（Central Processing Unit，CPU）造成很大的计算依赖。如果可以把数据由浮点转换成定点值，在硬件设备并行处理定点计算，则可提高网络计算能力。

数据流的固定处理流结构，导致对网络处理的灵活性大打折扣。市场上大部分的AI加速使用指令集的方式。以指令集的方式，适配多种网络的加速配置。在AI数据流硬件加速的过程中，把参考数据，参考参数输入到固化的引擎计算，得到实际结果。在相关技术中，若数据流的固定处理流结构针对不同的器件，会造成资源浪费，数据流的引擎只能处理单个数据集，对于输入的多个数据，需要排队处理。

发明内容

本申请提供一种深度学习引擎并行处理数据方法、装置、设备及储存介质，以实现AI的数据流硬件加速计算。

在一实施例中，本申请实施例提供了一种深度学习引擎并行处理数据方法，该方法包括：

获取存储的多个数据集、参数集和偏置集；

将所述多个数据集分流为多个节点数据集；

基于所述参数集对所述多个节点数据集进行预处理；

基于多个计算引擎根据所述参数集和偏置集对多个节点数据集进行同时计算以并行输出多个计算结果。

可选的，所述参数集用于在深度学习模型中调整所述多个数据集的权重，所述偏置集用于在深度学习模型中调整深度学习模型中的数据与实际数据的误差。

可选的，所述基于多个计算引擎根据所述参数集和所述偏置集对所述多个节点数据集进行同时计算以并行输出多个计算结果，包括：

获取计算引擎的数量；

根据所述计算引擎的数量按照预设规则根据所述参数集和所述偏置集同时对所述多个节点数据集进行计算以并行输出多个计算结果。

可选的，所述预设规则包括：

判断所述计算引擎的数量是否大于所述节点数据集的数量；

响应于所述计算引擎的数量大于所述节点数据集的数量的判断结果，使用与所述节点数据集的数量具有相同数量的计算引擎。

可选的，在所述判断所述计算引擎的数量是否大于所述节点数据集的数量之后，还包括：

响应于所述计算引擎的数量小于所述节点数据集的数量的判断结果，使用与所述计算引擎的数量具有相同数量的节点数据集；

继续执行判断所述计算引擎的数量是否大于所述节点数据集的数量；响应于所述计算引擎的数量大于所述节点数据集的数量的判断结果，使用与所述节点数据集的数量具有相同数量的计算引擎；

直至所述多个节点数据集全部计算完成。