[发明专利]一种基于读写分离及自动伸缩的云编排系统及方法

说明书

本发明提供一种基于读写分离及自动伸缩的云编排系统及方法，对读操作和写操作进行分离，对集群进行扩容和缩容，并将所有的索引数据存放在相应的对象存储，预计算模块将计算任务所需的资源(内存、CPU)提交给自动伸缩模块，通过调用基础架构自动化的编排工具Terraform对应的API进行资源的创建以保障构建任务的运行。自动伸缩模块提供2种资源扩张策略，分别是基于时间和最大的等待任务数。本发明提高了云资源的利用率，降低了成本及减少人工干预，为查询集群水平扩展提供了更高的可靠性，提高了高并发时系统的稳定性，保证了数据的安全性及无限扩展性。

技术领域

本发明涉及云编排技术领域，尤其涉及一种基于读写分离及自动伸缩的云编排系统及方法。

背景技术

目前，如何降低云成本、快速响应业务需求，一直都是云服务关注的热点问题。目前大多数云服务都支持节点伸缩服务以运行对应任务，但通常需要操作人员手动调节节点数量，往往会造成资源的浪费，增加TCO(总拥有成本)以及运维成本。

业界大多数云服务都对外提供了对Terraform(云编排工具)暴露的api，通过Terraform可以很灵活和快速部署出一个云服务集群，这也是业界通用方式。

当前云编排工具提供创建、管理云资源的能力，但是无法自动根据当时云上作业的负载情况，自动进行灵活的资源配置。基于云服务提供的SDK，也无法灵活自动根据云上作业进行资源的调整，这样会导致TCO的增加。

当前，业界传统支持的云上计算引擎有Impala，Greenplum等，这些传统的MPP引擎在大规模数据量下，查询性能和并发性会严重下降。除了MPP引擎过程是实时运算外，主要原因在于如果MPP的一个节点总是执行慢于该集群中其他的节点，整个集群的性能就会受限于这个故障节点的执行速度(所谓木桶的短板效应)，无论集群有多少节点，都不会有所提高。

由于现存云编排技术及MPP架构存在的缺陷，难以快速根据云上作业负载做出响应。

发明内容

有鉴于此，本公开提供一种基于读写分离及自动伸缩的云编排系统及方法，可以根据作业的灵活度，用合理的资源完成作业运行及有效降低TCO(总拥有成本)，技术方案如下：

一方面，本发明提供了一种基于读写分离及自动伸缩的云编排系统，包括客户端可视化模块、预计算引擎模块、读写分离模块以及自动伸缩模块，客户端可视化模块用于可视化地设置任务节点数及向预计算引擎模块提交任务，预计算引擎模块用于根据业务的联机数据分析OLAP分析需求利用OLAP技术对客户端可视化模块提交的任务进行多维分析，将数据仓库中原始明细数据构建成多维数据集，提供联机数据分析OLAP查询所需要的聚合数据，读写分离模块用于实现客户端可视化模块提交任务的读写工作负载的隔离，自动伸缩模块用于响应预计算引擎模块的资源申请请求并动态地向云申请资源及销毁资源。

进一步地，所述的客户端可视化模块通过浏览器访问。

进一步地，所述的预计算引擎模块采用联机数据分析OLAP建模工具kylin。

进一步地，所述的读写分离模块，查询集群进行分布式查询读操作，构建集群进行索引构建写操作，索引数据存放在相应的对象存储。

进一步地，所述的自动伸缩模块包括云服务器扩张和缩减功能，提供2种资源扩张策略，分别是基于时间和最大的等待任务数，满足扩张策略之一会触发扩张操作；如果处于空间状态，则会触发缩减操作。

另一方面，本发明提供了一种基于读写分离及自动伸缩的云编排方法，所述方法应用在上述基于读写分离及自动伸缩的云编排系统中，包括以下步骤：

步骤1：客户端可视化模块设置任务；

步骤2：预计算引擎模块分析任务的资源需求，读写分离模块分析任务的读写需求；

步骤3：自动伸缩模块根据任务的资源需求进行资源创建或资源回收；