[发明专利]用于处理分布式作业的方法和系统

权利要求书

1.一种用于处理分布式作业的方法，其中，利用FPGA处理所述分布式 作业，所述方法包括：

获取所述分布式作业中的性能需求；

根据所述性能需求，确定是否重构所述FPGA；以及

响应于确定重构所述FPGA，动态地重构所述FPGA的至少一部分。

2.如权利要求1所述的方法，其中，所述分布式作业是MapReduce作 业。

3.如权利要求1所述的方法，其中，获取所述分布式作业中的性能需求 包括检测所述分布式作业中的负载失衡。

4.如权利要求3所述的方法，其中，检测所述分布式作业中的负载失衡 需求进一步包括：

监视所述分布式作业中的各个任务的进度；以及

根据所述各个任务的进度，确定是否存在负载失衡。

5.如权利要求1至4中的任何一个所述的方法，其中，根据所述性能需 求，确定是否重构所述FPGA包括：

根据所述性能需求，估计重构所述FPGA的至少一部分的开销以及预测 收益；以及

响应于所述预测收益大于所述开销，确定重构所述FPGA的至少一部分。

6.如权利要求5所述的方法，其中，响应于确定重构所述FPGA，动态 地重构所述FPGA的至少一部分包括：

根据所估计的开销以及预测收益，重新分配用于所述分布式作业的任务 的资源；以及

根据对所述资源的重新分配，动态地重构所述FPGA的至少一部分。

7.如权利要求1所述的方法，其中，根据所述性能需求，估计重构所述 FPGA的至少一部分的开销以及预测收益进一步包括：利用基于专家知识的 性能模型，估计所述预测收益。

8.如权利要求7所述的方法，其中，所述专家知识包括下列中的一项或 多项：所述分布式作业在当前阶段所执行的任务种类、所述FPGA对所述任 务种类的加速性能、所述分布式作业在当前阶段的性能需求。

9.如权利要求1所述的方法，其中，所述FPGA包括分布在多个设备上 的多个FPGA卡。

10.一种用于处理分布式作业的系统，其中，利用FPGA处理所述分布 式作业，所述系统包括：

性能需求获取模块，被配置为获取所述分布式作业中的性能需求；

重构确定模块，被配置为根据所述性能需求，确定是否重构所述FPGA； 以及

重构执行模块，被配置为响应于确定重构所述FPGA，动态地重构所述 FPGA的至少一部分。

11.如权利要求10所述的系统，其中，所述分布式作业是MapReduce 作业。

12.如权利要求10所述的系统，其中，所述性能需求获取模块被配置为 检测所述分布式作业中的负载失衡。

13.如权利要求12所述的系统，其中，所述性能需求获取模块进一步被 配置为：

监视所述分布式作业中的各个任务的进度；以及

根据所述各个任务的进度，确定是否存在负载失衡。

14.如权利要求10至13中的任何一个所述的系统，其中，所述重构确 定模块进一步被配置为：

根据所述性能需求，估计重构所述FPGA的至少一部分的开销以及预测 收益；以及

响应于所述预测收益大于所述开销，确定重构所述FPGA的至少一部分。

15.如权利要求14所述的系统，其中，所述重构执行模块进一步被配置 为：

根据所估计的开销以及预测收益，重新分配用于所述分布式作业的任务 的资源；以及

根据对所述资源的重新分配，动态地重构所述FPGA的至少一部分。

16.如权利要求10所述的系统，其中，所述重构确定模块进一步被配置 为：利用基于专家知识的性能模型，估计所述预测收益。