[发明专利]一种面向云计算平台的科学工作流系统及方法

说明书

本发明涉及一种面向云计算平台的科学工作流系统及方法，通过定制模块的定制模块从显示层、工作流层、执行层、计算环境的定制；自动化部署模块根据定制模块的计算环境抽象描述，以及相应的科学软件自动化配置脚本将共同作用于计算环境的自动化部署过程；执行模块将科学工作流的各个计算步骤准确调度并运行在云端计算环境中。本发明能够为科研人员提供更加可定制化的科学工作流服务，能够根据科学实验需求定制科学工作流流程，并按需租用云平台中的计算资源，而且能够不受实验室机房计算资源的限制，不受手动安装软件工具来部署计算环境的限制，不需要手动跟踪并执行各个计算步骤，适用于对于大规模的科学数据分析任务。

技术领域

本发明涉及面向云计算平台的科学工作流系统及方法，属于云计算领域，特别是对于大规模的科学数据分析任务问题。

背景技术

科学数据分析目前在多个科学研究领域(包括生物科学、气象科学以及高能物理科学等) 都扮演着越来越重要的角色。每一个科学数据分析任务往往都包含多个计算步骤，每个计算步骤代表着一个数据分析处理过程。然而小规模科研团队或个人由于没有足够的计算机技术支持，使得他们在进行科学数据分析的时候遭遇到了障碍，主要体现在三个方面：(1)实验室机房计算资源的限制；(2)需要手动安装软件工具来部署计算环境；(3)需要手动跟踪并执行各个计算步骤。对于大规模的科学数据分析任务，这三个受限因素将会更加凸显。

目前科学工作流这一技术路线本身并不能解决计算资源受限以及手动部署计算环境这些问题，不存在工作流所需的计算环境精准的定制服务，以及不存在自动化的科学工作流计算环境的部署过程和科学工作流的执行过程。一些科学网关基于SaaS软件交付模式提供了面向社区的科学工作流服务框架，主要用于开发面向多租户的科学数据分析平台，但是它们不能为复杂的科学数据分析流程提供更为精准的定制服务。一个面向多租户的科学数据分析平台时，其最大的挑战是如何为科研人员在软件工具、数据分析流程甚至计算环境方面提供足够的定制功能。一些基于Web Service的框架支持将数据分析应用程序部署在相应的计算中心中，并通过将这些应用程序封装为Web Service的方式供科研人员来组装定制科学数据分析流程。这些软件框架虽然简化了定制的过程，使得能够以流水线化的方式来组装科学数据分析流程。但是这些科学网关无法提供同质化的运行时环境的定制，不能够为所有的科学数据分析流程提供同质化的运行时环境：相同的分布式计算资源和软件环境，即无法为具有多样性的科学数据分析实验提供具有针对性的运行时环境。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种面向云计算平台的科学工作流系统及方法，为科研人员提供可定制、自动化部署、自动化执行的科学工作流服务，科学工作流服务能够根据用户所定制的工作流以及计算资源需求在云平台中自动部署相应的计算环境并进行科学工作流。

本发明的技术解决方案：一种面向云计算平台的科学工作流系统，包括定制模块、自动化部署模块和执行模块，其中：

定制模块：包括显示层、工作流层、执行层和计算环境层四个层次的定制，其中显示层用于定制科学软件图形化工具；工作流层利用图形化工具定制科学工作流计算流程的各个计算步骤；执行层用于定制科学软件的命令行执行参数；计算环境层用定制计算环境抽象描述模板和科学软件的自动化配置脚本模板；通过计算环境抽象描述模板生成计算环境抽象描述，所述计算环境抽象描述是用于描述执行一个科学工作流计算流程所需的计算资源以及相应的科学软件；当科研人员定制完成一个科学工作流计算流程，并且选择所需的计算资源后 (比如虚拟机个数以及虚拟机大小等)，相应的计算环境抽象描述会自动生成；同时利用定制的科学软件自动化配置脚本模板，为自定义科学软件的安装以及配置过程提供依据，科研人员根据该模板来为具体的科学软件编写自动化配置脚本；计算环境抽象描述以及科学软件的自动化配置脚本共同奠定了计算环境自动化部署的基础；