[发明专利]基于容器技术的生信分析任务调度系统及其搭建方法、调度方案

说明书

本发明提供了一种基于容器技术的生信分析任务调度系统，该系统包括分析镜像仓库模块，镜像智能拉取模块，任务调度模块，任务运行模块。本发明不仅解决了分析环境搭建难的问题，而且具备可移植，一次搭建，多处使用的优点。使用该生信分析任务调度系统对生信分析任务进行了有效管理，方便分析任务迭代式升级，支持实时查看任务运行状态，极大避免了计算资源的浪费和挤兑的情况，大幅减少了生信分析人员重复搭建生信分析环境花费的工时，有效保证了分析任务的稳定性，同时降低了企业运营的成本。本发明还提供了一种基于上述系统的生信分析任务调度方案，使用该任务调度方案极大地优化了资源配置，促进了产能的提升。

技术领域

本发明属于生物信息数据处理技术领域，涉及一种基于容器技术的生信分析任务调度系统及其搭建方法。

背景技术

容器技术是将单个操作系统的资源划分到孤立的组中，解决孤立组之间资源使用冲突的问题。Docker是目前应用广泛的轻量级、开源的容器引擎，运行于Linux和Windows系统，在几乎没有性能开销的情况下，为任何应用创建一个轻量级、可移植、满足应用运行需要的容器。

Celery是一个专注于实时处理和任务调度的分布式任务队列，简单、灵活且可靠。当使用者触发的一个操作需要较长时间才能执行完成时，Celery将该操作作为一个任务异步执行，执行完再将结果返回给使用者。

日常生物信息数据分析过程中，软件对系统的依赖，分析流程对软件的依赖各不相同，每种分析流程只能在特定的主机上运行，而且同一分析流程任务较少时会造成计算资源的浪费，任务较多时又会造成计算资源的挤兑现象。Docker镜像技术有效的解决了分析环境不同的问题，分析人员通过编写分析环境的Dockerfile文件，在安装有Docker引擎的主机上构建个性化的版本镜像，启动基于该镜像的容器即可进行分析任务。Docker使用容器运行分析流程，不受操作系统的限制，避免了系统依赖和软件依赖冲突的问题。Celery的分布式任务队列技术很好的解决了任务较多时系统资源挤兑的问题，Celery既可以通过设置任务运行的并发数量，剩余任务排队的方式避免系统资源挤兑，也可以通过将部分分析任务分发到其他主机分析解决该问题，极大的提升了分析环境的稳定性。

发明内容

为了解决现有技术的不足，本发明的目的是提供一种基于容器技术的生信分析任务调度系统，解决不同生信分析任务环境搭建的问题，并通过任务调度系统，合理分配资源运行任务，避免系统资源的挤兑与浪费。

本发明基于容器技术的生信分析任务调度系统，其包括分析镜像仓库模块，镜像智能拉取模块，任务调度模块，任务运行模块。

所述分析镜像仓库模块是基于企业级的Registry开源项目，分为用户镜像仓库和系统镜像仓库，用于存储分析人员构建的生信分析镜像，可以实现项目和用户权限的隔离，包括定制化用户仓库和系统仓库备份的主从复制逻辑，也能够对用户仓库和系统仓库的敏感操作进行隔离，提供了诸如用户管理，访问控制和活动审计等高级的安全特性。为了满足生信分析任务调度系统的需求，进行了个性化定制，用于存储各个分析流程、各个版本的Docker镜像文件。

所述镜像智能拉取模块是在本地主机接收到任务调度模块分发的任务，先自动检索当前本地主机是否含有该分析任务需要的Docker镜像，如当前本地主机不存在分析任务指定的Docker镜像，则对分析镜像系统仓库进行检索，在系统镜像仓库中检索到指定Docker镜像存在即自动拉取该镜像到当前主机，并执行任务运行模块，如不存在则终止任务运行并反馈。

所述任务调度模块基于开源项目Celery进行定制化搭建，Celery是一个简单、灵活且可靠的处理大量消息的分布式队列系统，其专注于实时处理异步任务队列，同时也支持任务调度。Celery主要由消息中间件(message broker)，任务执行单元(worker)和任务结果存储单元(task result store)组成。生信分析任务提交后，经由任务调度模块进行任务的分发和投递。