[发明专利]分配数据的方法和装置

说明书

本发明公开了分配数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据集群中的节点对输入数据进行抽样，确定抽样结果；根据所述抽样结果，预测输入数据的分布特征；根据所述分布特征，对所述输入数据划分区域；将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。该实施方式针对计算机引擎中输入数据不均衡导致的技术问题，达到大量输入数据在集群中不同节点上运行所采用的时间更为均衡，进而达到提高计算机引擎的运行效率的技术效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分配数据的方法和装置。

背景技术

计算引擎在处理数据时，可能存在同一时间段内执行的任务所消耗的执行时间明显偏高的技术缺陷。所述执行时间明显偏高的任务被称为Straggler型任务。现有技术采用推测执行机制减少所述Straggler型任务的出现。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

当所述Straggler型任务是由输入数据不均匀导致时，所述推测执行机制不能有效解决执行任务、所消耗时间偏长、进而导致总体完成时间增长的技术缺陷。

发明内容

有鉴于此，本发明实施例提供一种分配数据的方法和装置，能够达到大量输入数据在集群中不同节点上运行所采用的时间更为均衡，进而达到提高计算机引擎的运行效率的技术效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分配数据的方法，包括：

根据集群中的节点对输入数据进行抽样，确定抽样结果；

根据所述抽样结果，预测输入数据的分布特征；

根据所述分布特征，对所述输入数据划分区域；

将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。

可选地，根据集群中的节点对输入数据进行抽样，确定抽样结果，包括：

根据弹性分布式数据集，计算集群的总记录条数；

根据所述总记录条数和抽样比例，确定弹性分布式数据集区域抽取样本的数量；

根据所述抽取样本的数量对其对应的弹性分布式数据集区域进行抽样，确定所述区域抽取样本的键值及所述键值的记录数；

将所述键值及其记录数组合生成的集合元祖确定为抽样结果。

可选地，根据所述抽样结果，预测输入数据的分布特征，包括：

根据所述抽样结果，构建输入数据的分布直方图；

根据所述分布直方图预测输入数据的分布特征。

可选地，所述区域的数量为所述集群中处理器核数的整数倍。

可选地，根据所述分布特征，对所述输入数据划分区域，包括：

确定待划分的区域所容纳的抽样结果的数量上限；

根据所述记录数，将抽样结果进行排序；

判断所述集群中剩余容量最大的区域所占的空间，是否大于最大记录数对应的抽样结果所占的空间；

若是，则将所述最大记录数对应的抽样结果分配至所述剩余容量最大的区域，并修改所述区域的剩余容量；

若否，则确定所述剩余容量最大的区域所占的第一存储空间；确定与所述第一存储空间大小相同的最大记录数对应的抽样结果的子键值对；将所述子键值对分配至所述剩余容量最大的区域；将所述最大记录数对应的抽样结果中未被分配的子键值对与其他区域进行匹配。