[发明专利]深度学习引擎并行处理数据方法、装置、设备及储存介质

权利要求书

1.一种深度学习引擎并行处理数据方法，其特征在于，包括：

获取存储的多个数据集、参数集和偏置集；

将所述多个数据集分流为多个节点数据集；

基于所述参数集对所述多个节点数据集进行预处理；

基于多个计算引擎根据所述参数集和所述偏置集对所述多个节点数据集进行同时计算以并行输出多个计算结果。

2.根据权利要求1中所述的方法，其特征在于，所述参数集用于在深度学习模型中调整所述多个数据集的权重，所述偏置集用于在深度学习模型中调整深度学习模型中的数据与实际数据的误差。

3.根据权利要求1中所述的方法，其特征在于，所述基于多个计算引擎根据所述参数集和所述偏置集对所述多个节点数据集进行同时计算以并行输出多个计算结果，包括：

获取计算引擎的数量；

根据所述计算引擎的数量按照预设规则根据所述参数集和所述偏置集同时对所述多个节点数据集进行计算以并行输出多个计算结果。

4.根据权利要求3中所述的方法，其特征在于，所述预设规则包括：

判断所述计算引擎的数量是否大于所述节点数据集的数量；

响应于所述计算引擎的数量大于所述节点数据集的数量的判断结果，使用与所述节点数据集的数量具有相同数量的计算引擎。

5.根据权利要求4中所述的方法，其特征在于，在所述判断所述计算引擎的数量是否大于所述节点数据集的数量之后，还包括：

响应于所述计算引擎的数量小于所述节点数据集的数量的判断结果，使用与所述计算引擎的数量具有相同数量的节点数据集；

继续执行判断所述计算引擎的数量是否大于所述节点数据集的数量；响应于所述计算引擎的数量大于所述节点数据集的数量的判断结果，使用与所述节点数据集的数量具有相同数量的计算引擎；

直至所述多个节点数据集全部计算完成。

6.根据权利要求1中所述的方法，其特征在于，在所述基于多个计算引擎根据所述参数集和所述偏置集对所述多个节点数据集进行同时计算以并行输出多个计算结果之后，还包括：对所述多个计算结果调整并存储，所述调整包括下述之一：调整输出位置；调整数据结构。

7.一种深度学习引擎并行处理数据装置，其特征在于，包括：

存储模块，设置为获取存储的多个数据集、参数集和偏置集；

调度模块，设置为将所述多个数据集分流为多个节点数据集；

处理模块，设置为基于所述参数集对所述节点数据集进行预处理；

计算模块，设置为基于多个计算引擎根据所述参数集和所述偏置集对所述多个节点数据集进行同时计算以并行输出多个计算结果。

8.根据权利要求7中所述的装置，其特征在于，还包括：适配模块，设置为对所述多个计算结果调整并存储，所述调整包括下述之一：调整输出位置；调整数据结构。

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，设置为存储一个或多个程序，

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。