[发明专利]提高在线服务质量和集群资源利用率的混合调度系统

权利要求书

1.一种提高在线服务质量和集群资源利用率的在线离线混合调度系统，其特征在于，包括信息采集模块，在线应用管理模块，离线应用管理模块，客户端模块，调度器模块；所述信息采集模块收集系统中各在线服务之间的调用关系，并存储到Redis中；当用户提交在线应用时，所述在线应用管理模块解析每个组件的依赖关系，并将所述组件按照所述依赖关系依次部署在集群中；当用户提交离线作业时，所述离线应用管理模块向资源管理器申请资源，并将离线作业调度到集群中运行；所述客户端模块解析处理用户提交的作业，将所述作业转化为对应的请求向资源管理器申请资源，并负责拉起所述在线应用管理模块向客户展示应用运行情况；所述调度器模块位于资源管理器中，所述调度器模块会定时根据所述在线应用管理模块汇报的组件关键程度计算服务器关键度，并在调度离线作业时根据所述计算出的服务器关键度进行调度；

在线服务一共有m个微服务，n种请求，T_i,j为请求j在服务i上耗费的总时间，E_i,j为请求j在服务i上出错的次数，对于第i个微服务的第j种请求而言，所述组件关键程度为：

所述α，β为经验值，

所述服务器关键度为流经组件的所有组件关键程度加权求和；

所述系统进行调度的具体实现方式包括以下步骤：

步骤1，配置各微服务间的依赖关系与相关配置，将各微服务与运行环境打包为Docker镜像，并通过所述客户端提交给调度系统；

步骤2，所述客户端向资源管理器申请资源，然后在申请到的容器中拉起所述在线应用管理模块，并监控所述应用的运行情况；

步骤3，所述在线应用管理模块启动时根据配置信息向资源管理器申请各微服务需要的资源，并在申请到的容器中根据依赖关系依次拉起各微服务，并监控各微服务的运行状态向客户端汇报；

步骤4，在用户访问各微服务时，所述信息采集模块会采集各组件间的调用关系，并且将这些调用关系存储到在线应用管理模块中的Redis中，在线应用管理模块中的计算模块会定时生成组件间的调用关系图，然后根据请求在各组件逗留的时间计算关键路径，最后计算出关键组件；

步骤5，在线应用管理模块计算出的关键组件定时汇报到资源管理器，当用户提交离线作业时，资源管理器中的所述调度器模块对容器能否调度在节点上进行计算。

2.如权利要求1所述的系统，其特征在于，所述信息采集模块中具有Tracker库，当微服务接受其他微服务调用或向其他微服务发出请求时，Tracker会记录下7元组url,serviceName,requestID,eventType,relatedService,timestamp,statusCode，其中url用于标识请求的种类，serviceName用于标识微服务的名称，requestID是全局唯一的请求统一标识符，eventType标识此次是接受请求还是发出请求，relatedService是与之发生交互的服务名字，timestamp是事件发生的时间戳，statusCode是Http请求的状态码，用于标识请求是成功还是失败。

3.如权利要求1所述的系统，其特征在于，所述Redis是一个高性能的键值存储数据库，它可以将数据全部存储在内存中。

4.如权利要求2所述的系统，其特征在于，在所述步骤4中，所述在线应用管理模块计算出关键组件的步骤为：步骤4-1，为每一次请求构建调用关系图，所述构建方式为以服务接受和发出请求的中间部分作为节点，服务耗费的时间作为节点的权重，服务间调用关系作为边进行构建；步骤4-2，使用回溯算法计算图中每条路径所耗费的总时间，耗费总时间最长的调用关系链为关键路径；步骤4-3，在为每次请求计算关键路径之后，汇集所有的请求，除去网络节点，以服务组件为单位计算请求的重要程度。