[发明专利]用于Shuffle过程的数据传输方法和装置

权利要求书

1.一种用于Shuffle过程的数据传输方法，包括：

获取所述Shuffle过程前的数据集合和所述Shuffle过程后的数据集合包括的分区数目，其中，所述Shuffle过程前的数据集合包括至少一个分区；

获取目标服务组件的数目；

根据所述目标服务组件的数目，确定各目标服务组件与所述Shuffle过程后的数据集合的分区之间的对应关系；

将所述Shuffle过程前的数据集合中各分区的数据分别发送至与所述Shuffle过程后的数据集合对应的目标服务组件。

2.根据权利要求1所述的方法，其中，所述根据所述目标服务组件的数目，确定各目标服务组件与所述Shuffle过程后的数据集合的分区之间的对应关系，包括：

获取所述Shuffle过程后的数据集合的分区的标识；

按照所述预设的散列函数确定所述Shuffle过程后的数据集合的分区的标识对应的哈希值；

根据所述哈希值，确定各目标服务组件与所述Shuffle过程后的数据集合的分区之间的对应关系。

3.根据权利要求2所述的方法，其中，所述预设的散列函数包括对所述目标服务组件的数目进行取模。

4.根据权利要求1-3之一所述的方法，其中，所述方法还包括：

将与发送的数据所属于的所述Shuffle过程后的数据集合的分区的标识发送至对应的目标服务组件。

5.一种用于Shuffle过程的数据传输装置，包括：

第一获取单元，被配置成获取所述Shuffle过程前的数据集合和所述Shuffle过程后的数据集合包括的分区数目，其中，所述Shuffle过程前的数据集合包括至少一个分区；

第二获取单元，被配置成获取目标服务组件的数目；

确定单元，被配置成根据所述目标服务组件的数目，确定各目标服务组件与所述Shuffle过程后的数据集合的分区之间的对应关系；

第一发送单元，被配置成将所述Shuffle过程前的数据集合中各分区的数据分别发送至与所述Shuffle过程后的数据集合对应的目标服务组件。

6.一种用于Shuffle过程的数据传输系统，包括：

数据写入端，被配置成执行实现如权利要求1-4中任一所述的方法；

所述目标服务组件，被配置成响应于接收到所述数据写入端发送的数据，获取所接收的数据所属于的所述Shuffle过程后的数据集合的分区的标识；根据所获取的分区的标识，将所接收的数据写入目标存储系统，其中，所述目标存储系统中包括标识与所述Shuffle过程后的数据集合的分区的标识一致的数据文件。

7.根据权利要求6所述的系统，其中，所述系统还包括：

数据读取端，被配置成从所述目标存储系统中读取数据，生成所述Shuffle过程后的数据集合，其中，所述Shuffle过程后的数据集合中的数据所属分区的标识与所述数据在所述目标系统中的文件的标识一致。

8.根据权利要求6或7所述的系统，其中，所述目标存储系统包括Hadoop分布式文件系统。

9.一种服务器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。