[发明专利]数据预处理方法、装置、计算机设备及存储介质

说明书

本申请关于一种数据预处理方法、装置、计算机设备及存储介质，涉及模型训练技术领域。所述方法包括：在包含至少两个节点的分布式模型训练系统中，获取待处理的样本数据集；基于样本数据集，以第一条件为约束，生成预处理计划；该预处理计划用于指示至少两个节点在各个迭代步中进行预处理的样本数据；基于预处理计划，指示至少两个节点通过各个迭代步对至少两个样本数据进行预处理，以在对应的迭代步中提供给对应的模型进行模型训练。通过上述方法，使得各个节点预处理样本数据的数据量相近，从而使得各个节点预处理样本数据的时间相近，尽可能的降低多个迭代步中各个节点进行样本数据预处理的总时间，提高系统的模型训练性能。

技术领域

本申请涉及模型训练技术领域，特别涉及数据预处理方法、装置、计算机设备及存储介质。

背景技术

在模型训练过程中，为提高训练效果，在模型训练之前，会对样本数据进行数据预处理，比如，在计算机视觉领域，在进行模型训练之前，需要对图像样本进行增强处理。

在相关技术中，一般通过将需要进行预处理的样本数据平均分配给进行预处理的若干个节点，使得各个节点对同一样本数据集中的样本数据进行同步预处理。

然而，上述相关技术中，分配到各个节点中的样本数据存在随机性，由于各个样本数据的数据量大小存在一定的差异，导致各个节点预处理样本数据所需要的时间存在差异，使得样本数据的预处理效率相对较低。

发明内容

本申请实施例提供了一种数据预处理方法、装置、计算机设备及存储介质，可以在保证模型收敛性的基础上，提高样本数据预处理效率，进而提高分布式模型训练系统的训练性能，该技术方案如下。

一方面，提供了一种数据预处理方法，所述方法应用于分布式模型训练系统中，所述分布式模型训练系统包含至少两个节点，至少两个所述节点用于同步进行对样本数据的预处理，所述方法包括：

获取待处理的样本数据集；所述样本数据集中包含至少两个所述样本数据；

基于所述样本数据集，以第一条件为约束，生成预处理计划；所述预处理计划用于指示至少两个所述节点在各个迭代步中进行预处理的样本数据；所述第一条件包括：至少两个所述节点中的每个所述节点，在各个所述迭代步中的每个迭代步中预处理的样本数据满足第二条件，且至少两个所述节点通过各个所述迭代步对至少两个所述样本数据进行预处理的总时间最小；

基于所述预处理计划，指示至少两个所述节点通过各个所述迭代步对至少两个所述样本数据进行预处理；预处理后的所述样本数据用于在对应的所述迭代步中提供给对应的模型进行模型训练。

另一方面，提供了一种数据预处理装置，所述装置包括：

样本数据集获取模块，用于获取待处理的样本数据集；所述样本数据集中包含至少两个所述样本数据；

预处理计划生成模块，用于基于所述样本数据集，以第一条件为约束，生成预处理计划；所述预处理计划用于指示至少两个所述节点在各个迭代步中进行预处理的样本数据；所述第一条件包括：至少两个所述节点中的每个所述节点，在各个所述迭代步中的每个迭代步中预处理的样本数据满足第二条件，且至少两个所述节点通过各个所述迭代步对至少两个所述样本数据进行预处理的总时间最小；

数据预处理模块，用于基于所述预处理计划，指示至少两个所述节点通过各个所述迭代步对至少两个所述样本数据进行预处理；预处理后的所述样本数据用于在对应的所述迭代步中提供给对应的模型进行模型训练。

在一种可能的实现方式中，所述第二条件包括：

所述节点在当前迭代步中预处理的样本数据的数量，与所述节点已完成预处理且未被使用的样本数据的数量之和大于数量阈值；所述未被使用的样本数据是在所述当前迭代步之前未被提供给对应的模型进行模型训练的样本数据；