[发明专利]用于数据的高效重新分区的通信

摘要

提供了一种用于使用经调度的网络通信来高效地将数据重新分区的方法。给定定义要在多个服务器节点之间发送的数据块的重新分区数据，对应的网络调度表被确定以便以协调的方式发送数据块。网络调度表被划分为时隙，其中多个服务器节点中的每个服务器节点在每个时隙中可以发送最多一个数据块以及接收最多一个数据块。通过使用优先化最大发送者和最大接收者的贪婪选择算法，即使存在严重偏斜，也可以确定近似最佳的调度表。贪婪选择算法可以用O(T*N^2)时间复杂度实现，从而实现扩展到具有许多服务器节点的大型多节点集群。网络调度表是需要对关于不同键的运算符进行重新分区的数据库执行计划特别感兴趣的。

主权项

一种方法，包括：接收重新分区数据，所述重新分区数据为多个服务器节点中的每个服务器节点描述要发送到所述多个服务器节点中的每个服务器节点的数据块的数量；通过使用所述重新分区数据按照要发送的数据块的总数对所述多个服务器节点进行降序排序来确定所述多个服务器节点的发送者次序；按所述发送者次序填充包括多个时隙的网络调度表，其中所述多个时隙中的每个时隙为所述多个服务器节点中作为发送者节点的每个服务器节点指定所述多个服务器节点中的最多一个接收者节点，以经网络发送数据块，其中所述多个时隙中的每个时隙指定特定节点不多于一次，以及其中所述最多一个接收者节点是至少基于根据所述重新分区数据具有要由所述发送者节点接收的最大可能数量的数据块来指定的；使得所述多个服务器节点根据所述网络调度表来重新分区；以及其中所述方法由一个或多个计算设备执行。