[发明专利]一种可扩展的自动化计算服务平台及其构建方法

说明书

技术领域

本发明属于计算机科学与技术领域，特别涉及一种可扩展的自动化计算服务平台及其构建方法。

背景技术

目前，随着计算问题的日趋复杂，计算数据的数据量呈现几何级增长，由此带来了计算密集、数据密集、通信密集等一系列的空间信息科学计算问题。运用并行计算技术解决计算问题是最为重要的方式之一。并行计算原理简单、计算能力强，灵活方便等优点，但是各并行计算工具也具有资源利用率低、扩展性差等缺陷，尤其是对于计算环境异构、计算资源需求不均等问题。面对这些问题，现有的解决方式大多是从购置专用平台、提升物理服务器性能等角度进行，往往具有购置成本高、维护复杂等不足。

而云计算技术通过将分布式的异构资源抽象为虚拟化资源池为用户提供按需服务，实现了高效的资源利用。如能采用云计算技术，不同的计算任务和计算工具可以集中的共享资源基础架构设施。通过将计算工具和计算任务托管在专业的第三方基础设施服务运营商，实现基础设施的高效资源利用。这样合并复用后的数据中心，其服务器性能就可以通过分时复用满足多个计算任务不同方面的资源峰值，而非仅仅预留给单个应用的资源峰值。当计算任务需求变化时，只需妥善调度，就可以让任务之间彼此衔接，资源复用。随着资源利用率的提升，现有的设备足以满足复杂多变的需求，从而避免对设备垂直扩展的需求。设备数量的下降会降低软硬件环境维护、占地和能源消耗等方面的花销。

随着技术的发展和积累，大量优秀的云计算平台被开发出来。发起于加州大学圣芭芭拉分校的Eucalyptus项目是最早的以亚马逊AWS为蓝本进行开发的开源IaaS平台，架构服务化良好，以JAVA和C语言为开发语言。最早由Cloud.com开发的CloudStack平台在由Apache基金会接管后，迅速被业界多家著名公司选作基础设施服务平台，采用分层架构，API封装较好。IBM的SKC基于PowerVM虚拟化技术和VMControl自动化管理功能强大，安装简单。OpenStack开源云计算平台采用模块化设计，扩展性良好，以Python语言进行开发。然而，这些主流的云计算平台主要存在如下缺点：

1.Eucalyptus缺乏API层设计，计算、存储、网络服务未分开，使用不便，对插件支持不足，扩展性不好，对用户的支持不好。

2.CloudStack没有采用面向服务的架构设计，同样没有将计算、存储、网络独立设计，平台横向扩展过程复杂，容易出错。

3.IBM的SKC不是开源产品，实施比较复杂。

4.OpenStack安装复杂，API接口略混乱，新版本往往变化很大，难以升级维护。

5.所有云计算平台均不支持计算环境和计算任务的自动化配置和运行，对计算服务使用者负担较大。

因此，在计算平台领域更加需要一种能够提供大规模计算工具环境创建和管理的服务平台，并进一步使其具备一定的自动化计算任务的应用能力，便捷直接地提供可扩展的计算服务。

发明内容

本发明的目的在于解决上述现有技术的缺陷，提出一种利用虚拟化技术构建分布式系统平台的可扩展的自动化计算服务平台及其构建方法，服务平台及其构建方法能够提供一种层次化、可伸缩且能够进行任务运行管理和计算资源环境自动部署的计算服务，可用于分布式异构计算环境下的自动化计算。

为了实现上述目的，本发明所采用的技术方案是：

一种可扩展的自动化计算服务平台，包括物理资源层、虚拟资源层、平台管理层以及业务服务层；

物理资源层包括存储设备、计算设备以及网络设备；

虚拟资源层利用OpenStack的相关组件对底层的物理资源整合成逻辑上的云，然后通过虚拟化技术构建虚拟机资源池，提供计算资源池；

平台管理层层利用Web服务器进行消息转发和接收，与虚拟资源层控制器利用HTTP协议进行通信，利用JSON文本为标准数据交互格式，对通信功能进行封装，成为通信模块；

业务服务层用于计算任务的管理、执行、计算资源环境配置，并最终为用户提供标准软件接口。

所述虚拟资源层对各虚拟机提供创建、删除、迁移、重启、修改以及远程桌面功能；利用网络虚拟化技术，提供虚拟网络和虚拟路由器的创建、删除以及修改功能。

所述平台管理层对各虚拟资源池的计算资源实现统一调用，并将包括计算、存储和网络方面资源的调用封装为资源服务模块；平台管理层对平台中广域分布的多虚拟资源集群进行统一管理，实现多集群管理模块。

本发明还公开了一种自动化计算服务平台的构建方法，包括以下步骤：