[发明专利]一种云计算平台作业调度方法及装置

说明书

技术领域

本发明涉及计算机信息处理技术领域，尤其涉及一种云计算平台作业调度方法及装置。

背景技术

随着用户规模的不断增长和精细化运营管理要求的不断提高,移动通信运营商内部的分析系统，如BASS、VGOP、FOS等系统都面临大数据时代的冲击，原有的系统架构已不能满足业务的需求，普遍存在以下的问题：1、处理性能不足，无法满足大数据和非结构化数据的处理性能要求；2、建设维护成本高，原有的“小型机+高端存储+关系型数据库”模式，软硬件采购及维护费用都非常高；3、系统可靠性不高；4、扩展性较差，无法快速线性扩展来满足数据处理增长的要求；

而以Hadoop为代表的云计算技术的出现，较好的解决了这些问题，因此移动通信运营商的分析系统都逐步向云计算平台实施转型。但随着云计算平台的规模不断扩大，必需考虑在一定资源限度下最有效承载各种业务，因此，如何提高云计算平台的资源利用率成为了影响云计算平台使用效果的关键因素，从而成为我们需要迫切解决的一个问题。

BASS（Business Analyse Support System）为移动运营商经营分析系统，是指以企业决策支持、市场经营分析和一线营销服务支撑为服务目标的智能支撑信息系统；VGOP(Value-added Service General Operation Platform)为移动运营商增值业务综合运营平台，负责提供跨业务平台统一运营能力的数据业务支撑系统；FOS(data Flow Operation Management System)为移动运营商流量经营综合运营管理系统，提供分析挖掘、精确营销和管理能力的IT支撑系统。

在现有架构下，各业务系统独立的提交作业给云计算平台，并预先声明资源需求。云计算平台接收作业并放入统一的作业队列中，作业调度模块按照一个简单的先进先出（FIFO队列）调度算法进行作业调度，并按照各作业预先提出的资源需求进行资源分配，先到先得。所有作业的资源需求均需要提前确认，多任务之间的资源争用及作业之间依赖关系也需要在提交作业之前提前规划。

现有的架构在单一的业务系统中使用时有较高的调度效率，但是在多系统的复杂业务环境下，存在资源使用不均衡、无法反应业务特性、缺乏动态调度机制等问题，具体如下：

（一）资源使用不均衡

云计算平台共有400个CPU内核（CPU core）的物理资源。在某一时段，只有一个作业ID为2.1的BASS接口数据处理作业运行，该作业的资源需求为100个CPU core，远小于云计算平台现有可用的资源，但云计算平台只能按照该作业提交的资源需求分配100个CPU core，无法分配更多的资源给该作业，导致云计算平台资源闲置，而该作业的运行时间也较长。如能自动增加分配该作业的资源，则可将作业运行时间大幅度缩短。

（二）无法根据作业优先级调度

云计算平台共有400个CPU core的物理资源。在某一时段，已有ID为1.3的FOS系统汇总层数据处理作业开始运行，该作业占用300个CPU core，预计作业执行时间为2个小时，优先级别为低。若此时有一个ID为4.1的多平台数据统计的临时作业提交，该作业优先级别为高，资源需求为200个CPUcore，预计运行时间为10分钟。按照云计算平台现有的管理方式，ID为4.1的作业需要排队等待ID为1.3的作业全部完成后释放资源才能开始运行，需等待2小时左右，不能满足高优先级作业的时间要求。如能暂停ID为1.3的作业优，优先先执行ID为4.1的作业，则仅需10余分钟即可完成高优先级作业。

（三）无法根据业务特性和依赖性进行调度

云计算平台的2个作业存在依赖关系，作业ID为2.3的BASS系统汇总数据处理作业依赖于作业ID为2.2的BASS系统轻度汇总数据处理作业的结果。因某些原因（作业提交时间延迟、作业异常中断、资源争用等）导致队列中ID为2.3的作业排在ID为2.2的作业之前时，现有的管理方式将首先运行ID为2.3的作业，导致该作业数据处理结果异常。在多个业务系统的复杂环境下，系统之间及系统内部的作业存在依赖性和严格的串行处理顺序，现有架构不能自动处理这些关系，更无法保证关键路径作业的按时处理。

发明内容

为了解决现有技术中无法根据作业优先级调度，无法根据业务特性和依赖性进行作业调度，云计算平台资源使用不均衡的技术问题，本发明提出一种云计算平台作业调度方法及装置。

本发明的一个方面，提供一种云计算平台作业调度方法，包括：