[发明专利]一种面向混合应用计算框架的调度系统

说明书

本发明公开了一种面向混合应用计算框架的调度系统，包括：资源管理器，设置于智能调度层；容器状态监控模块和容器智能调度模块，设置于资源管理层；多个容器，设置于容器服务层；其中，所述资源管理器根据应用的需求利用所述多个容器进行调度，以使得多种计算框架的应用共享资源。本发明通过上述技术方案，至少能够使得多种计算框架的应用可以共享资源，提高资源利用率。

技术领域

本发明涉及计算机技术领域，具体来说，涉及一种面向混合应用计算框架的调度系统。

背景技术

智能、自动化是所有软件开发的追求目标，尤其是在资源调度这方面。传统的YARN/MESOS资源管理器有各种资源分配算法，例如DRF、capacity scheduler、fairscheduler调度算法。但是，这些调度算法聚焦在资源的分配和分配上面。其中最大的问题设计思路是基于预留的思路，要求应用提出资源的需求，而这在现实中往往是不现实的。

面向混合应用计算框架的共享资源智能调度管理，面向深度学习的计算需要用多种计算框架，常用的包括Caffe、TensorFlow、Spark、Xgboost等多种计算框架，每种计算框架都采用不同的软件框架，计算工作的部署和运行管理方式也各不相同。在使用中，每种计算框架需要分别部署、运行、监控、维护和升级，加重了运营维护工作，而且管理起来很不方便。更严重的是，这些计算框架分别如果部署在共享的节点上，一方面进程之间无法互相隔离，另一方面会造成资源争抢，影响各个应用进程的安全和稳定。

发明内容

针对相关技术中上述的问题，本发明提出一种面向混合应用计算框架的调度系统，至少能够使得多种计算框架的应用可以共享资源，提高资源利用率。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种面向混合应用计算框架的调度系统，包括：

资源管理器，设置于智能调度层；

容器状态监控模块和容器智能调度模块，设置于资源管理层；

多个容器，设置于容器服务层；

其中，资源管理器根据应用的需求利用多个容器进行调度，以使得多种计算框架的应用共享资源。

根据本发明的实施例，容器状态监控模块和容器智能调度模块用于实时记录应用系统的组件运行的动作情况，并分析组件的性能约束条件。

根据本发明的实施例，其中，多个容器提供通用的资源使用接口，以使得多种计算框架的应用共享资源。

根据本发明的实施例，其中，资源管理器进一步基于资源节点的类型、资源节点的计算能力和应用所需带宽之中的任意一种进行调度。

根据本发明的实施例，资源管理器优先选择空闲的资源节点进行调度；或者，资源管理器优先选择繁忙的资源节点进行调度。

根据本发明的实施例，资源管理器根据需求将多种应用调度在同一节点运行。

根据本发明的实施例，资源管理器基于资源节点存储的数据进行调度。

根据本发明的实施例，资源管理器根据需求将不同的组件调度到不同的资源节点。

本发明的上述技术方案，利用基于容器的容器服务层和智能调度层，将上层的多种深度学习计算框架运行在同一套容器平台上，使得多种计算框架的应用可以共享资源，大幅提高资源利用率。通过资源管理与容器状态监控模块和容器智能调度模块的分离，优化配置实现更加智能灵活资源调度。同时，利用容器的命名空间的隔离能力，能够将不同应用组件互相隔离，解决应用之间的隔离难题。

附图说明