[发明专利]一种面向云计算平台的科学工作流系统及方法有效
申请号: | 201510856917.6 | 申请日: | 2015-11-30 |
公开(公告)号: | CN105447643B | 公开(公告)日: | 2020-07-03 |
发明(设计)人: | 吴文峻;孙吴昊;赵德栋;蒲彦均 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06 |
代理公司: | 北京科迪生专利代理有限责任公司 11251 | 代理人: | 成金玉;孟卜娟 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 计算 平台 科学 工作流 系统 方法 | ||
1.一种面向云计算平台的科学工作流系统,其特征在于:包括定制模块、自动化部署模块和执行模块,其中:
定制模块:包括显示层、工作流层、执行层和计算环境层四个层次的定制,其中显示层用于定制科学软件图形化工具;工作流层利用图形化工具定制科学工作流计算流程的各个计算步骤;执行层用于定制科学软件的命令行执行参数;计算环境层用于定制计算环境抽象描述模板和科学软件的自动化配置脚本模板;通过计算环境抽象描述模板生成计算环境抽象描述,所述计算环境抽象描述是用于描述执行一个科学工作流计算流程所需的计算资源以及相应的科学软件;当科研人员定制完成一个科学工作流计算流程,并且选择所需的计算资源后,相应的计算环境抽象描述会自动生成;同时利用定制的科学软件自动化配置脚本模板,为自定义科学软件的安装以及配置过程提供依据,科研人员根据该模板来为具体的科学软件编写自动化配置脚本;计算环境抽象描述以及科学软件的自动化配置脚本共同奠定了计算环境自动化部署的基础;
自动化部署模块:接收来自定制模块的计算环境抽象描述,根据计算环境抽象描述,并利用相应的科学软件自动化配置脚本在指定的云计算平台中部署相应的云端计算环境,云端计算环境由多个虚拟机组成的一个计算集群,并安装配置所需的科学软件;
执行模块:在云端计算环境部署完后,调度服务和分布式资源管理服务;调度服务负责根据科研人员定制的科学工作流执行流程来调度各个科学计算步骤的先后执行顺序,以保证科学工作流的正确执行;分布式资源管理服务则负责管理虚拟机计算集群,将当前调度的计算任务分发到相应的计算资源中并以指定的方式执行,所述执行模块中的指定方式是指串行执行或并行执行;
所述自动化部署模块包括:控制模块、云平台集群自动化部署管理工具Chef、Chef的第三方插件Spiceweasel;
控制模块:为逻辑控制层,接收来自定制模块的计算环境抽象描述,并调用控制模块中的服务将计算环境抽象描述转换成与指定云计算平台相关的Spiceweasel文件,同时负责与ChefServer进行通信;
Spiceweasel:用于帮助Chef批量管理基础设施的命令行工具,Chef提供的基于编程语言Ruby、文件格式JSON或文件格式YAML的描述语言能够帮助简化计算环境XML抽象描述到Chef的内置工具ChefKnife命令行程序的翻译过程;
ChefServer:负责与云计算平台进行通信,根据Spiceweasel文件在指定云计算平台上部署相应的计算环境,管理虚拟机的自动化创建与配置过程;
所述执行模块具体实现过程为:
(1)指定任务运行的计算环境
调度服务将任务运行在指定的计算环境中,当工作流的每个计算任务用“Job”对象来表示,其包含了用于执行某一个计算任务的所有具体信息,自动化部署模块会在配置完成之后返回当前所配置计算环境的详细信息,将当前科学工作流所包含的所有计算任务所对应“Job”对象的配置参数字段信息实时更新为当前指定计算环境的信息,并通过指定的jobplugin,即提供与分布式资源管理服务进行通信的命令行接口和shell plugin,即提供与远程计算集群进行通信的功能,将计算任务运行在指定的计算环境中;
(2)任务执行
采用部署有Torque分布式资源管理服务的计算集群进行通信,Torque作为portablebatch system项目的一个分支,能够对批处理作业以及计算资源进行有效地管理和调度,通过“qsub[shell script]”指令提交的作业将会被分配到一台空闲的计算节点中进行运算,运算的过程即shell script执行脚本的计算过程。
2.根据权利要求1所述的面向云计算平台的科学工作流系统,其特征在于:所述定制模块中,显示层定制的科学软件的图形化工具具有多个通用的功能,包括用于设置执行参数的表单;科研人员通过科学软件图形化工具模板来定制具体的科学软件从而为科学工作流做定制基础,使科学软件能够以交互友好的图形化工具的形式呈现出来。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510856917.6/1.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理