[发明专利]用于处理分布式作业的方法和系统

说明书

技术领域

本发明涉及分布式作业，尤其涉及用于处理分布式作业的方法和系统。

背景技术

目前，随着分布式计算网络的普及，越来越多的任务以分布式作业的方 式被处理。这些分布式作业常常包含复杂的工作负载。以MapReduce为例， MapReduce具有需要被加速的各种不同的功能，例如压缩，解压缩，排序， crc32(循环冗余校验码(CyclicRedundancyCheck))等等。在这些分布式作 业的执行中，会存在不同的性能需求，例如，希望以更短的时间或者更少的 资源占用完成这些分布式作业，希望分布式系统中的各个单元的负载均衡， 等等，其中，负载失衡在MapReduce工作负载中是非常常见的一个问题，其 会严重影响分布式作业的性能。

在这些分布式作业的处理中，常常采用FPGA(FieldProgrammableGate Array)，即现场可编程门阵列，对分布式作业中的各个功能进行加速。FPGA 作为专用集成电路(ASIC)领域中的一种半定制电路，被广泛用于加速各种 应用的运算。

FPGA的逻辑是通过向内部静态存储单元加载编程数据来实现的，存储 在存储器单元中的值决定了逻辑单元的逻辑功能以及各模块之间或模块与 I/O间的联接方式，并最终决定了FPGA所能实现的功能。

目前的FPGA重构(reconfiguration)是在线下完成的，通常通过刷新新 的配置文件来重新建立逻辑。虽然FPGA能够在一定程度上加速分布式作业 中的各个功能，但当该分布式作业中的性能需求发生变化、例如出现工作负 载失衡时，该FPGA加速并不能解决负载失衡的问题。

发明内容

针对上述问题，希望提供一种能够改善分布式作业中的性能的解决方案。

根据本发明的一个方面，提供了一种用于处理分布式作业的方法，其中， 利用FPGA处理所述分布式作业，所述方法包括：获取分布式作业中的性能 需求；根据所述性能需求，确定是否重构FPGA；以及，响应于确定重构FPGA， 动态地重构FPGA的至少一部分。

根据本发明的另一个方面，提供了一种用于处理分布式作业的系统，其 中，利用FPGA处理所述分布式作业，所述系统包括：性能需求获取模块， 被配置为获取所述分布式作业中的性能需求；重构确定模块，被配置为根据 所述性能需求，确定是否重构所述FPGA；以及，重构执行模块，被配置为 响应于确定重构所述FPGA，动态地重构所述FPGA的至少一部分。

通过根据本发明的各个方面的方法及相应的系统，可以有效地提高分布 式作业的性能。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上 述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施 方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器 12的框图；

图2显示了根据本发明的一个实施例的用于处理分布式作业的方法的流 程图；

图3A显示了MapReduce作业中的Map任务和Reduce任务的并行化示 例；

图3B显示了经过FPGA加速之后的Map任务和Reduce任务的并行化示 例。

图3C显示了经过重构后的FPGA加速的Map任务和Reduce任务的并行 化示例；以及

图4显示了根据本发明的一个实施例的用于处理分布式作业的系统的方 框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示 了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不 应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开 更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器 12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本发 明实施例的功能和使用范围带来任何限制。