[发明专利]一种基于流水线并行的模型训练方法、装置以及设备

说明书

本说明书实施例公开了基于流水线并行的模型训练方法。包括：根据正常训练顺序对待训练模型进行切分，得到多个子切片；将正常训练顺序在前的一部分子切片划分至第一组中，构成第一子模型，将剩余的子切片划分至第二组中，构成第二子模型；将第一子模型包含的子切片分配给不同的工作方，以及将第二子模型包含的子切片分配给不同的工作方；根据调整得到的训练顺序，在被分配了子切片的工作方上为子切片分配训练时间块，训练顺序包括：针对单轮训练样本，依次执行第一子模型本周期的正向传播、第一子模型前一周期的反向传播、第二子模型本周期的正向传播、第二子模型本周期的反向传播；按照训练时间块，在多个工作方上对待训练模型进行并行训练。

技术领域

本说明书涉及机器学习技术领域，尤其涉及一种基于流水线并行的模型训练方法、装置以及设备。

背景技术

近年来，深度学习已极大地推动了人工智能技术的发展，在很多领域已获得良好的效果。然而，随着人工智能技术的发展，模型的参数规模也越来越大，其增长速度甚至已远超过硬件处理性能的增长速度。

为了解决这个矛盾，模型并行技术逐渐受到研究者们的重视。模型并行可以将一个大规模模型划分为多个模型切片，并分配到不同的工作机上，从而实现大规模模型的训练或者推理。传统的模型并行技术，同一时刻只能保证一个工作机运行，其他的空置。

基于此，还需要效率更高的模型并行训练的方案。

发明内容

本说明书一个或多个实施例提供一种基于流水线并行的模型训练方法、装置、设备以及存储介质，用以解决如下技术问题：需要效率更高的模型并行训练的方案。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

本说明书一个或多个实施例提供的一种基于流水线并行的模型训练方法，包括：

根据正常训练顺序对待训练模型进行切分，得到多个子切片；

将正常训练顺序在前的一部分所述子切片划分至第一组中，构成第一子模型，将剩余的所述子切片划分至第二组中，构成第二子模型；

将所述第一子模型包含的子切片分配给不同的工作方，以及将所述第二子模型包含的子切片分配给不同的工作方；

根据调整得到的训练顺序，在被分配了子切片的工作方上为所述子切片分配训练时间块，所述训练顺序包括：针对单轮训练样本，依次执行所述第一子模型本周期的正向传播、所述第一子模型前一周期的反向传播、所述第二子模型本周期的正向传播、所述第二子模型本周期的反向传播；

按照所述训练时间块，在多个所述工作方上对所述待训练模型进行并行训练。

本说明书一个或多个实施例提供的一种基于流水线并行的模型训练装置，包括：

子切片切分模块，根据正常训练顺序对待训练模型进行切分，得到多个子切片；

子模型构成模块，将正常训练顺序在前的一部分所述子切片划分至第一组中，构成第一子模型，将剩余的所述子切片划分至第二组中，构成第二子模型；

子模型分配模块，将所述第一子模型包含的子切片分配给不同的工作方，以及将所述第二子模型包含的子切片分配给不同的工作方；

训练时间块分配模块，根据调整得到的训练顺序，在被分配了子切片的工作方上为所述子切片分配训练时间块，所述训练顺序包括：针对单轮训练样本，依次执行所述第一子模型本周期的正向传播、所述第一子模型前一周期的反向传播、所述第二子模型本周期的正向传播、所述第二子模型本周期的反向传播；

并行训练模块，按照所述训练时间块，在多个所述工作方上对所述待训练模型进行并行训练。

本说明书一个或多个实施例提供的一种基于流水线并行的模型训练设备，包括：