[发明专利]一种基于容器的持续集成CI任务处理方法及装置

说明书

本发明提供了一种基于容器的持续集成CI任务处理方法及装置。该方法包括：解析并发的多个持续集成CI任务，获取所述各个持续集成CI任务的关联关系和资源预估信息；根据所述各个持续集成CI任务的关联关系生成多个持续集成CI流水线队列，各个持续集成CI流水线队列中包括多个串行执行的持续集成CI任务；根据各个持续集成CI容器的负荷和所述各个持续集成CI任务的资源预估信息为所述各个持续集成CI流水线队列的当前持续集成CI任务分配对应的持续集成CI容器。本发明实施例将高并发场景下多条流水线的多个任务合理分发到多个容器中并发执行，合理编排任务执行顺序，在相同物理资源的情况下，提高了任务执行效率和容器资源利用率。

技术领域

本发明涉及软件开发技术领域，具体涉及一种基于容器的持续集成CI任务处理方法及装置。

背景技术

随着软件开发复杂度的不断提高，团队开发成员间如何更好地协同工作以确保软件开发的质量已经成为开发过程中不可回避的问题。持续集成(Continuous Integration,CI)是一种软件开发实践，倡导团队开发成员必须经常集成他们的工作，甚至每天都可能发生多次集成。而每次的集成都是通过自动化的CI任务处理来完成的，包括自动化编译、发布和测试等，从而更快地发现错误，让团队能够更快的开发内聚的软件。

现有的持续集成CI任务处理方法主要有三种:

如图1a所示，是现有的一种持续集成CI任务处理系统的架构图，所有流水线持续集成CI任务处理都是在一台CI服务器上进行，CI服务器通过监控源码变更等方式来处理流水线的第一个持续集成CI任务，其余的任务当满足前置条件时自动触发。因所有的流水线任务都在一台CI服务器上执行，当运行中的任务数达到最大执行数后，流水线任务进入等待队列。单台CI服务器的能力容易受到磁盘空间、CPU、内存等硬件能力的限制，导致CI任务处理效率低。

如图1b所示，是现有的另一种持续集成CI任务处理系统的架构图，CI Master为系统的控制节点，Slave节点负责具体的项目编译测试等任务执行，可以支持集群化的不同任务处理需求。一个CI Master节点可以关联多个Slave节点，CI Master节点进行任务配置和调度管理。所有的任务通过预先的配置分配到指定的Slave节点上执行，预先分配的Slave节点一直处于在线状态。该方法中Slave节点是预先分配的，任务和Slave节点的关联是预先设置的，在高并发的情况下，存在Slave节点资源调度不合理，Slave节点资源利用率不高等问题。

如图1c所示，是现有的另一种持续集成CI任务处理系统的架构图，借助于容器技术，CI Master节点发布持续集成CI任务，将一条流水线的多条任务灵活分派到一个CISlave容器进行处理，保证了CI Slave容器资源的高可用性。但是一条流水线所有持续集成CI任务在同一个CI Slave容器上执行，高并发场景下，多条CI流水线任务需要分派更多的容器资源，任务处理效率低，资源利用率不高。

发明内容

本发明实施例提供一种基于容器的持续集成CI任务处理方法及装置，用于解决现有技术在高并发场景下资源利用率不高和任务执行效率低的问题。

本发明实施例提供了一种基于容器的持续集成CI任务处理方法，包括：

解析并发的多个持续集成CI任务，获取所述各个持续集成CI任务的关联关系和资源预估信息；

根据所述各个持续集成CI任务的关联关系生成多个持续集成CI流水线队列，各个持续集成CI流水线队列中包括多个串行执行的持续集成CI任务；

根据各个持续集成CI容器的负荷和所述各个持续集成CI任务的资源预估信息为所述各个持续集成CI流水线队列的当前持续集成CI任务分配对应的持续集成CI容器。