[发明专利]信息处理方法、装置、设备、存储介质及程序产品

权利要求书

1.一种信息处理方法，其特征在于，所述方法包括：

获取目标任务对应的多个线程以及多个训练集，所述目标任务由多个线程执行，所述目标任务支持弹性训练；

确定为所述目标任务提供弹性资源的至少一个加速芯片，并根据所述多个线程，为每个所述加速芯片匹配至少一个线程；

针对每个所述训练集，执行下述步骤：针对每个所述加速芯片，为所述加速芯片分配一个目标线程，以使当前目标线程根据所述训练集，执行逻辑操作，并在所述当前目标线程执行逻辑操作完成后，为所述加速芯片切换下一个目标线程，直至所述多个线程在所述至少一个加速芯片全部执行完毕，用以更新所述目标任务对应的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述获取目标任务对应的多个线程，包括：

确定所述目标任务在分布式数据并行中使用的进程数量；

对所述目标任务进行线程抽象，确定所述多个线程，以使在运行时，每个所述加速芯片支持执行任意数量的所述线程；

其中，所述多个线程的数量与所述进程数量相同。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个线程，为每个所述加速芯片匹配至少一个线程，包括：

根据每个所述加速芯片的配置信息，确定为每个所述加速芯片分配的线程数量；

基于为每个所述加速芯片分配的线程数量，将所述多个线程分配到对应的加速芯片上，使得每个所述加速芯片为至少一个线程提供资源；

其中，每个所述加速芯片在同一时间支持一个线程执行逻辑。

4.根据权利要求1或2所述的方法，其特征在于，所述在所述当前目标线程执行逻辑操作完成后，为所述加速芯片切换下一个目标线程，直至所述多个线程在所述至少一个加速芯片全部执行完毕，用以更新所述目标任务对应的模型参数，包括：

在当前目标线程执行逻辑完成后，生成所述当前目标线程的随机状态以及对应的梯度值，将所述当前目标线程的随机状态作为所述当前目标线程的初始状态进行存储，并存储所述当前目标线程对应的梯度值；其中，所述随机状态用于生成随机数序列；

获取下一个目标线程的初始状态，根据所述下一个目标线程的初始状态，确定随机数以及所述随机数对应的所述下一个目标线程的随机状态，并将所述下一个目标线程的随机状态作为所述下一个目标线程的初始状态进行存储；所述随机数用于支持所述下一个目标线程在所述加速芯片上执行逻辑操作；

当所述多个线程在所述至少一个加速芯片全部执行完毕，根据每个所述线程对应的梯度值，更新所述目标任务对应的模型参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述下一个目标线程的初始状态，确定所述下一个目标线程的随机状态，包括：

根据所述下一个目标线程的初始状态，通过随机数生成器，生成随机数以及所述随机数对应的所述下一个目标线程的随机状态；

其中，所述随机状态包括：用于表示Python接口的深度学习框架的状态、用于表示Python的开源的科学计算库的状态以及随机数生成器的状态。

6.根据权利要求4所述的方法，其特征在于，所述将所述当前目标线程的随机状态作为所述当前目标线程的初始状态进行存储，包括：

将所述当前目标线程的初始状态存储在所述至少一个加速芯片的预设共享池中，用以支持在弹性资源发生时，获取相应的线程的初始状态；

相应的，所述存储所述当前目标线程对应的梯度值，包括：

将所述当前目标线程对应的梯度值卸载到内存上，用以支持与所述下一个目标线程对应的梯度值进行融合计算。

7.根据权利要求1或2所述的方法，其特征在于，所述确定为所述目标任务提供弹性资源的至少一个加速芯片，包括：

当弹性资源触发后，获取当前支持为所述目标任务提供训练的目标资源，所述目标资源为加速芯片，所述加速芯片的个数为至少一个。