[发明专利]用于加速工作流的执行的装置和方法在审
申请号: | 201310625095.1 | 申请日: | 2013-11-28 |
公开(公告)号: | CN104679763A | 公开(公告)日: | 2015-06-03 |
发明(设计)人: | 皮冰锋;邹纲;张军;钟朝亮 | 申请(专利权)人: | 富士通株式会社 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王萍;韩炜 |
地址: | 日本神*** | 国省代码: | 日本;JP |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 加速 工作流 执行 装置 方法 | ||
1.一种用于加速工作流的执行的装置,所述工作流由至少一个网络服务构成,所述装置包括:
网络服务模式划分单元,用于根据网络服务的输入数据和输出数据的数量关系,将所述网络服务划分为特定网络服务模式;以及
调度单元,用于调度所述网络服务,以便根据与被调度的网络服务相应的网络服务模式执行操作。
2.如权利要求1所述的装置,其中,所述特定网络服务模式包括:
对于每个输入数据产生一个输出数据的1:1网络服务模式;
对于每个输入数据产生N个输出数据的1:N网络服务模式;
对于N个输入数据产生M个输出数据的N:M网络服务模式;以及
对于N个输入数据产生一个输出数据的N:1网络服务模式;
其中,N和M都是大于1的整数。
3.如权利要求2所述的装置,其中,所述调度单元被配置为执行以下至少之一:
对于N:M网络服务模式的网络服务,利用Map操作将该网络服务的输入数据虚拟分割为若干部分,并将该网络服务的实例克隆为多份,分发到不同的虚拟机上并行执行;
对于N:1网络服务模式的网络服务,利用Map操作将该网络服务的输入数据虚拟分割为若干部分,并将该网络服务的实例克隆为多份,分发到不同的虚拟机上并行执行,然后利用执行Reduce操作的克隆的网络服务将在Map操作中产生的中间文件进行汇总;以及
对于1:1网络服务模式和1:N网络服务模式的网络服务,扩大网络服务实例所占用的内存的大小。
4.如权利要求3所述的装置,其中,所述调度单元包括:
数据存储子单元,用于存储利用Map操作虚拟分割网络服务的输入数据而形成的数据信息,以供并行执行该网络服务的各部分的不同虚拟机使用;以及
调度子单元,用于调度克隆的网络服务实例并为所述克隆的网络服务实例分发输入数据,以在不同虚拟机上并行执行,并且收集执行后的数据存储到所述数据存储子单元中。
5.如权利要求4所述的装置,其中,所述调度单元还包括:
收集子单元,用于收集Map操作中并行执行该网络服务的各部分的不同虚拟机的执行结果作为中间文件,并将该中间文件作为执行Reduce操作的数据信息存储到所述数据存储子单元中,以便于执行Reduce操作的克隆的网络服务进行查找;以及
汇总子单元,用于对执行Reduce操作的克隆的网络服务的实例的执行进行调度以执行Reduce操作,并获得执行Reduce操作后所得的结果。
6.如权利要求5所述的装置,其中,所述数据存储子单元用于定位克隆的网络服务的输入数据,其存储的数据信息由表示克隆的网络服务的标识、表示克隆的网络服务的数据来源的标识、文件记录的开始索引、由克隆的网络服务处理的文件记录的长度构成的四元组表示。
7.如权利要求1所述的装置,还包括:
候选网络服务确定单元,用于在所述至少一个网络服务中确定至少一个候选网络服务,以便由所述网络服务模式划分单元将所述候选网络服务划分为特定网络服务模式,并且通过所述调度单元调度所述网络服务,以根据与被调度的网络服务相应的网络服务模式执行操作。
8.如权利要求7所述的装置,其中,所述候选网络服务确定单元包括:
转换子单元,用于利用深度优先进行遍历的方法将包括至少一个网络服务的所述工作流的有向图转换为表示哪些网络服务为顺序执行而哪些网络服务为并行执行的梯度图;
树建立子单元,用于利用梯度图建立相应的顺序部分树,其中,所述顺序部分树的每个节点表示可顺序执行的工作流的顺序部分,所述顺序部分为单个网络服务或者若干网络服务的结合;以及
候选网络服务确定子单元,用于基于所述顺序部分树,结合所述顺序部分的执行历史将耗时超过预定阈值的网络服务确定为候选网络服务。
9.如权利要求1所述的装置,还包括:
监测单元,用于使用滑动时间窗口来监测至少一个网络服务的CPU的平均利用率;以及
CPU调整单元,用于根据所述监测单元监测的CPU的平均利用率来增加或释放网络服务的CPU。
10.一种用于加速工作流的执行的方法,所述工作流由至少一个网络服务构成,所述方法包括:
根据所述网络服务的输入数据和输出数据的数量关系,将所述网络服务划分为特定网络服务模式;以及
调度所述网络服务,以便根据与被调度的网络服务相应的网络服务模式执行操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于富士通株式会社;,未经富士通株式会社;许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310625095.1/1.html,转载请声明来源钻瓜专利网。