[发明专利]机器学习的数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种机器学习的数据处理方法，其特征在于，应用于电子设备，所述电子设备包括中央处理器和图形处理器，所述方法包括：

通过所述中央处理器启动所述图形处理器中用于机器学习的多个并行流水线计算任务，并将每个所述并行流水线计算任务的状态更新为就绪状态；

通过所述中央处理器向第一并行流水线计算任务传输第一数据，并在传输过程中将除所述第一并行流水线计算任务之外的并行流水线计算任务的状态，从所述就绪状态更新为等待状态；

当所述第一并行流水线计算任务开始时，通过所述中央处理器将第二数据传输到第二并行流水线计算任务中进行计算；其中，所述第二并行流水线计算任务为除所述第一并行流水线计算任务之外的任意并行流水线计算任务；

当每个所述并行流水线计算任务完成时，将每个所述并行流水线计算任务的计算结果进行汇总，得到所述机器学习的运算结果。

2.根据权利要求1所述的方法，其特征在于，所述通过中央处理器启动图形处理器中用于机器学习的多个并行流水线计算任务之前，所述方法还包括：

根据待计算数据在所述中央处理器中传输的速度，确定所述多个并行流水线计算任务的数量；

其中，所述待计算数据包括所述第一数据和所述第二数据，所述多个并行流水线计算任务的数量与所述待计算数据在中央处理器中传输的速度负相关；

将所述待计算数据拆分成多份数据，并通过通用并行计算架构的接口建立相互独立的多个并行流水线计算任务。

3.根据权利要求2所述的方法，其特征在于，

所述待计算数据被拆分的份数与所述多个并行流水线计算任务的数量相等，所述多份数据与所述多个并行流水线计算任务存在一一对应的关系；

所述通过所述中央处理器向第一并行流水线计算任务传输第一数据，包括：

将所述多份数据中的任意一份数据作为所述第一数据，并通过所述中央处理器向第一并行流水线计算任务进行传输。

4.根据权利要求1所述的方法，其特征在于，当所述第一并行流水线计算任务开始时之前，所述方法还包括：

针对所述第一并行流水线计算任务执行以下处理：

通过所述中央处理器计算数据拷贝时间和数据计算时间的比值，基于所述比值确定所述第一并行流水线计算任务中串行子计算任务的数量；

根据所述串行子计算任务的数量，将所述第一并行流水线计算任务分割成具有关联关系的多个串行子计算任务；

其中，所述多个串行子计算任务用于对所述第一数据进行计算，以得到所述第一并行流水线计算任务的计算结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述串行子计算任务的数量，将所述第一并行流水线计算任务分割成具有关联关系的多个串行子计算任务，包括：

根据所述串行子计算任务的数量，将所述串行子计算任务分割成多个串行子计算任务；

将第1个所述串行子计算任务设置为数据转入，并将最后一个所述串行子计算任务设置为数据转出，以及将第2至倒数第二个所述串行子计算任务设置为多个运算级，得到所述多个串行子计算任务，其中，所述第2至倒数第二个多个串行子计算任务用于基于所述第一数据进行计算。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述第一数据的运算特征，将所述第一数据划分成多个独立的运算部分；其中所述运算部分包括运算数据和运算规则；

将所述多个独立的运算部分传输到所述第2至倒数第二个所述串行子计算任务中进行计算；其中所述多个独立的运算部分与所述第2至倒数第二个所述串行子计算任务存在一一对应的关系。

7.根据权利要求4的方法，其特征在于，所述方法还包括：

针对不同并行流水线计算任务中不具有关联关系的任意两个串行子计算任务，执行以下处理：

通过通用并行计算架构的函数对所述不具有关联关系的任意两个串行子计算任务进行异步调用。