[发明专利]一种任务调度均衡优化方法、装置

说明书

本发明提供一种任务调度均衡优化方法、装置，所述方法包括如下步骤：动态监测并收集集群中各实例服务和实例服务所在节点的资源信息；根据收集的资源信息结合设置的节点资源控制参数对实例服务所在节点的可用资源空余程度进行验证评估，根据验证评估结果进行节点的优先序列调整，输出优先任务队列列表；接收优先任务队列列表，并解析相关队列任务发送至对应的实例服务作为协调节点进行任务执行。通过动态监控集群的各实例服务运行环境情况进行服务可用验证，得出不同实例服务间的实际软硬件和网络环境差异并加入到任务调度分发的判断机制中，进而完善任务调度机制中轮训调度算法无法实现真正均衡的问题。

技术领域

本发明涉及集群任务调度均衡设计技术领域，具体涉及一种任务调度均衡优化方法、装置。

背景技术

在当前的技术背景下，ES(ES，是指一种分布式全文数据库系统服务Elasticsearch)客户端与服务端的交互中，一般会在客户端配置多个可用ES实例节点地址，ES应用在收到客户端请求时，会根据配置的多个可用实例服务端口进行任务分发，分发规则遵循Round Robin(Round Robin，轮询调度算法，一种无状态任务调度方法，一般用于用户任务执行均衡控制)算法，将接收到的各种读写或其它处理请求通过Round Robin算法的轮询方式分发至配置的可用实例节点进行任务执行。Round Robin算法是一种相对意义上的均衡方法，可以使配置的每个实例服务都可以接收大概同等的任务量，以此保证ES集群各个实例服务之间的任务均衡，保证集群的高效性。

但是在实际的ES集群环境中，由于各种实际场景网络环境和软硬件环境差异性，在每个实例大概接收同等任务的情况下并不能保证集群任务运行实际的均衡和高效，比如配置集群节点间硬件配置存在高低差异的环境；部分特殊应用需求场景存在将ES服务与其它外部服务混部，故而存在资源交叉占用的情况；还有如不同实例所在的机器网络资源存在差异或者网络稳定性不一致的节点。这些情况都会影响Round Robin算法实际的可靠性。

发明内容

针对在实际的ES集群环境中，由于各种实际场景网络环境和软硬件环境差异性，在每个实例大概接收同等任务的情况下并不能保证集群任务运行实际的均衡和高效的问题，本发明提供一种任务调度均衡优化方法、装置。

本发明的技术方案是：

一方面，本发明技术方案提供一种任务调度均衡优化方法，包括如下步骤：

动态监测并收集集群中各实例服务和实例服务所在节点的资源信息；

根据收集的资源信息结合设置的节点资源控制参数对实例服务所在节点的可用资源空余程度进行验证评估，根据验证评估结果进行节点的优先序列调整，输出优先任务队列列表；

接收优先任务队列列表，并解析相关队列任务发送至对应的实例服务作为协调节点进行任务执行。

通过动态监控集群的各实例服务运行环境情况进行服务可用验证，得出不同实例服务间的实际软硬件和网络环境差异并加入到任务调度分发的判断机制中，进而完善任务调度机制中轮训调度算法无法实现真正均衡的问题。

进一步的，动态监测并收集集群中各实例服务和实例服务所在节点的资源信息的步骤包括：

动态监测集群中各实例服务和实例服务所在节点的软硬件和网络资源使用情况；

对各实例服务和实例服务所在节点资源信息进行收集；

将收集的信息进行处理封装后输出。

进一步的，动态监测并收集集群中各实例服务和实例服务所在节点的资源信息的具体步骤包括：

接收任务请求；

获取请求中携带的可配协调节点列表并解析汇总，得到可配节点总队列；