[发明专利]基于加速芯片的模型迭代实现方法和装置

说明书

本说明书提供一种基于加速芯片的模型迭代实现方法，包括：确定在机器学习模型训练或推理的一次迭代中执行的所有计算函数、计算函数的执行顺序、以及计算函数的输入参数和输出参数；将所有计算函数划分为N个并行队列，每个并行队列中的计算函数按照执行顺序排列；N为不小于2的自然数；采用计算函数的输入参数和输出参数，发现所有并行队列之间相互的队列依赖关系；对具有队列依赖关系的两个计算函数，在被依赖的计算函数上添加执行完毕的通知事件，在具有函数依赖的计算函数上添加对所述通知事件的依赖；并行执行所述N个并行队列。

技术领域

本说明书涉及数据处理技术领域，尤其涉及一种基于加速芯片的模型迭代实现方法和装置。

背景技术

AI(Artificial Intelligence，人工智能)已经走入了普通大众的视野，在日常生活中可以看到很多与AI相关的产品或服务，例如在人脸识别、车辆定损(图片识别)、机器人客服等多种场景中AI都得到了广泛应用，并且取得了显著效果。

实现AI的基础是完成运算量巨大的计算任务，例如机器学习模型，尤其是深度学习(DL，Deep Learning)的训练和推理任务，这些都需要强大的计算能力来支撑。实际应用中常常采用GPU(Graphics Processing Unit，图形处理器)等加速芯片来运行模型的训练和推理任务。GPU具有高速并行计算能力，如何充分利用这一能力，是加快模型训练或推理任务处理速度的关键所在。

发明内容

有鉴于此，本说明书提供一种基于加速芯片的模型迭代实现方法，包括：

确定在机器学习模型训练或推理的一次迭代中执行的所有计算函数、计算函数的执行顺序、以及计算函数的输入参数和输出参数；

将所有计算函数划分为N个并行队列，每个并行队列中的计算函数按照执行顺序排列；N为不小于2的自然数；

采用计算函数的输入参数和输出参数，发现所有并行队列之间相互的队列依赖关系；第一并行队列对第二并行队列的队列依赖关系包括所有满足以下条件的第一并行队列中某个第一计算函数对第二并行队列中某个第二计算函数的函数依赖：不存在执行顺序先于所述第一计算函数的第一并行队列中其他计算函数对所述第二计算函数的函数依赖，也不存在第一并行队列中执行顺序先于所述第一计算函数的其他计算函数对第二并行队列中执行顺序后于所述第二计算函数的其他计算函数的函数依赖；当所述第二计算函数是第二并行队列中输出参数包括所述第一计算函数的输入参数的计算函数中执行顺序最后的一个时，所述第一计算函数对所述第二计算函数具有函数依赖；

对具有队列依赖关系的两个计算函数，在被依赖的计算函数上添加执行完毕的通知事件，在具有函数依赖的计算函数上添加对所述通知事件的依赖；

并行执行所述N个并行队列。

本说明书还提供了一种基于加速芯片的模型迭代实现装置，包括：

循环结构单元，用于确定在机器学习模型训练或推理的一次迭代中执行的所有计算函数、计算函数的执行顺序、以及计算函数的输入参数和输出参数；

并行队列单元，用于将所有计算函数划分为N个并行队列，每个并行队列中的计算函数按照执行顺序排列；N为不小于2的自然数；

队列依赖单元，用于采用计算函数的输入参数和输出参数，发现所有并行队列之间相互的队列依赖关系；第一并行队列对第二并行队列的队列依赖关系包括所有满足以下条件的第一并行队列中某个第一计算函数对第二并行队列中某个第二计算函数的函数依赖：不存在执行顺序先于所述第一计算函数的第一并行队列中其他计算函数对所述第二计算函数的函数依赖，也不存在第一并行队列中执行顺序先于所述第一计算函数的其他计算函数对第二并行队列中执行顺序后于所述第二计算函数的其他计算函数的函数依赖；当所述第二计算函数是第二并行队列中输出参数包括所述第一计算函数的输入参数的计算函数中执行顺序最后的一个时，所述第一计算函数对所述第二计算函数具有函数依赖；