[发明专利]数据预处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据预处理方法，其特征在于，所述方法应用于分布式模型训练系统中，所述分布式模型训练系统包含至少两个节点，至少两个所述节点用于同步进行对样本数据的预处理，所述方法包括：

获取待处理的样本数据集；所述样本数据集中包含至少两个所述样本数据；

基于所述样本数据集，以第二条件为约束，确定各个迭代步分别对应的至少一个样本数据子集，所述样本数据子集用以指示在一个所述迭代步中，至少两个所述节点预处理的样本数据的集合；

基于各个所述迭代步分别对应的至少一个所述样本数据子集，以至少两个所述节点在各个所述迭代步进行预处理的总时间最小为约束，确定至少两个所述节点在各个所述迭代步中分别预处理的样本数据；

基于至少两个所述节点在各个所述迭代步中分别预处理的样本数据，生成预处理计划；所述预处理计划用于指示至少两个所述节点在各个迭代步中进行预处理的样本数据；

基于所述预处理计划，指示至少两个所述节点通过各个所述迭代步对至少两个所述样本数据进行预处理；预处理后的所述样本数据用于在对应的所述迭代步中提供给对应的模型进行模型训练；

其中，所述基于所述样本数据集，以所述第二条件为约束，确定各个所述迭代步分别对应的至少一个样本数据子集，包括：

基于所述第二条件以及前i-1个所述迭代步中至少两个所述节点已完成预处理且未被使用的样本数据，以及所述样本数据集，确定前i个所述迭代步对应的至少一个样本数据子集中所能包含的样本数据的数量最小值和数量最大值；

基于所述数量最小值和所述数量最大值，确定前i个所述迭代步对应的至少一个样本数据子集；

基于前i个所述迭代步对应的至少一个样本数据子集，以及前i-1个所述迭代步对应的至少一个样本数据子集，确定第i个所述迭代步对应的至少一个样本数据子集，第i个所述迭代步是各个所述迭代步中的任意一个。

2.根据权利要求1所述的方法，其特征在于，所述第二条件包括：

所述节点在当前迭代步中预处理的样本数据的数量，与所述节点已完成预处理且未被使用的样本数据的数量之和大于数量阈值；所述未被使用的样本数据是在所述当前迭代步之前未被提供给对应的模型进行模型训练的样本数据；

以及，所述节点在当前迭代步中预处理的样本数据的数据量，与所述节点已完成预处理且未被使用的样本数据的数据量之和不大于数据量阈值。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第二条件以及前i-1个所述迭代步中至少两个所述节点已完成预处理且未被使用的样本数据，以及所述样本数据集，确定前i个所述迭代步对应的至少一个样本数据子集中所能包含的样本数据的数量最小值和数量最大值，包括：

基于所述第二条件中的数量阈值，以及所述节点的数量，确定前i个所述迭代步对应的至少一个样本数据子集中所能包含的样本数据的所述数量最小值；

基于所述第二条件中的数据量阈值，所述数量最小值以及前i-1个所述迭代步中至少两个所述节点已完成预处理且未被使用的样本数据，确定前i个所述迭代步对应的至少一个样本数据子集中所能包含的样本数据的所述数量最大值。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第二条件中的所述数据量阈值，所述数量最小值以及前i-1个所述迭代步中至少两个所述节点已完成预处理且未被使用的样本数据，确定前i个所述迭代步对应的至少一个样本数据子集中所能包含的样本数据的所述数量最大值，包括：

按照指定步长，对所述数量最小值进行增大调节，直至将基于调节后的数据数量获取的第i个迭代步对应的样本数据子集分配给至少两个所述节点后，至少两个所述节点对应的缓冲区内的样本数据的数据量均大于所述数据量阈值时，获取前一次增大调节后的数据数量作为所述数量最大值；

其中，所述节点对应的缓冲区内的样本数据，包括第i个所述迭代步中所述节点所需预处理的样本数据，以及前i-1个所述迭代步中所述节点已完成预处理且未被使用的样本数据。