[发明专利]一种自适应调度的分布式监控数据采集方法和系统有效
申请号: | 201410406494.3 | 申请日: | 2014-08-18 |
公开(公告)号: | CN104158878B | 公开(公告)日: | 2019-02-15 |
发明(设计)人: | 陆峰;刘成平;李锋 | 申请(专利权)人: | 浪潮(北京)电子信息产业有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 王丹;李丹 |
地址: | 100085 北京市门*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自适应 调度 分布式 监控 数据 采集 方法 系统 | ||
本发明提出了一种自适应调度的分布式监控数据采集方法和系统,该方法和系统包括:主控端自适应模块、主控端调度器、分布式受控端采集器、分布式受控端自调整模块。本发明针对自适应调度机制的特点和分布式监控数据采集时一个主控端对多个受控端的特点,采用基于主控端自适应模块和主控端调度器,以及分布式受控端采集器和分布式受控端自调整模块的方法,实现所述主控端调度器进行自适应调度,所述分布式受控端采集器根据所述调度调整适应当前监控规模,完成所述分布式监控数据采集。
技术领域
本发明涉及分布式监控领域,具体涉及一种自适应调度的分布式监控数据采集方法和系统。
背景技术
随着互联网的飞速发展,大规模的数据中心越来越成为现代社会发展的需要。这就为数据中心的监控管理难度带来巨大挑战,一个拥有几万资源的数据中心的监控难度已非常大,更何况目前的发展趋势下几十万资源、甚至几百万资源的数据中心正在逐步产生。例如,一个具有十万资源的数据中心的监控,用传统的分布式监控方式已经无法满足,传统的分布式监控数据采集原理示意图如图1所示,其中假设各分布式受控端的资源配置(如CPU处理能力、内存大小、网络带宽等)均不相同。即使传统的分布式监控方式能够满足的几千资源规模的监控,也无法实现对监控所耗费资源的充分高效利用,往往造成某些分布式受控端资源空闲、而另一些分布式受控端资源耗费贻尽,也进一步使监控数据的实时性,即监控的性能受到影响,使整个分布式监控数据采集系统无法真正达到最理想的效果。以上挑战为大规模数据中心的监控数据采集、监控数据采集时所耗费的资源利用效率均带了极大的局限性,严重影响大规模数据中心监控的发展。
发明内容
为了解决上述问题,本发明提出了一种自适应调度的分布式监控数据采集方法和系统,能够大大提高分布式监控数据采集时的资源利用效率,避免了因各分布式受控端承担的采集压力不合理造成的资源浪费和监控数据采集的实时数据延迟性过大。
为了达到上述目的,本发明提出了一种自适应调度的分布式监控数据采集方法,包括:
在实现主控端调度器进行自适应调度之前:所述主控端自适应模块根据监控数据采集规模和各分布式受控端采集器的资源配置,调整预定自适应调度算法的参数,通过所述自适应调度算法进行分布式受控端数量的调整和各分布式受控端所承担监控数据采集规模的调整。
所述实现主控端调度器进行自适应调度的方法是:所述主控端调度器通过主控端与所述各分布式受控端建立联系,调用分布式受控端自调整模块进行所述分布式受控端采集器数量的调整,并下达对所述分布式受控端采集器的调度控制命令,所述分布式受控端采集器根据所述调度控制命令调整适应当前监控规模,完成所述分布式监控数据采集。
优选地,进行所述分布式受控端采集器数量的调整后还包括:所述控端调度器接收所述各分布式受控端采集器采集到的监控数据,并处理所述各分布式受控端采集器返回的监控数据。
优选地,所述方法还包括:所述主控端调度器与所述各分布式受控端建立心跳连接确认其是否正常运转。
优选地,所述分布式受控端采集器根据所述调度控制命令调整适应当前监控规模,完成所述分布式监控数据采集的步骤之前还包括:所述分布式受控端自调整模块根据所述主控端调度器下发的监控数据采集任务规模和所述分布式受控端自身的资源配置,对所述分布式受控端采集器数量进行调整,通过将采集任务规模、当前采集器数量及各采集器能够承担的采集任务进行综合分析和计算,根据得出的分析计算结果进行采集器数量的增加或减少。
优选地,所述分布式受控端采集器根据所述调度控制命令调整适应当前监控规模,完成所述分布式监控数据采集的步骤包括:所述分布式受控端采集器接收所述主控端调度器下发的监控数据采集任务,自主进行任务分析处理,启动监控数据采集进程进行数据采集并检查采集到的监控数据是否符合所述主控端接收的规范,最终将所述监控数据发送至所述主控端调度器进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮(北京)电子信息产业有限公司,未经浪潮(北京)电子信息产业有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410406494.3/2.html,转载请声明来源钻瓜专利网。