[发明专利]一种基于大数据和云计算业务下的智能监控方法及系统

说明书

技术领域

本发明涉及信息技术领域，尤其涉及一种基于大数据和云计算业务下的智能监控方法及基于大数据和云计算业务下的智能监控系统。

背景技术

1998年VMware提出X86架构的虚拟化技术后，虚拟化技术浪潮发展迅猛，并且在短短几年时间后，基于虚拟化技术的云计算的概念被提出，用户可以在云计算环境中按需取用资源，基于云端在网络可达的条件下随时随地使用资源。通过10多年的发展，虚拟化技术和云计算技术逐渐成熟，并为大多数用户接纳，越来越多的业务都将跑在云端上。而根据《国务院关于加快培育和发展战略性新兴产业的决定》中提及的战略新兴产业的未来预期，中国云计算市场未来5年内将会达到至少30％以上的增长水平。

另一方面，在全球信息化快速发展的大背景下，大数据已成为国家重要的基础性战略资源，正引领新一轮科技创新。根据中国信息通信研究院发布的《2015年中国大数据发展调查报告》显示，2015年中国大数据市场规模将达到115.9亿元，增速达38％。此外，预计2016至2018年中国大数据市场规模还将维持40％左右的高速增长。

云计算和大数据技术是21世纪初至今信息技术发展的主要潮流，并且由于云计算灵活的易扩展的特性，其成为大数据数据分析和处理的基础节点架构，在2013年开始，两种技术已经展现出非常有效且紧密的结合关系，这一关系在未来发展中将愈发紧密。

基于以上技术发展趋势，云计算平台上不仅会支撑大数据业务，也会有大量的传统业务运行在上面。基于这种模式下，我们需要提供一种智能的监控系统，对大数据业务和云计算业务进行监控管理，帮助用户实时掌握业务运行情况。

目前常见的云计算平台上的监控管理方式主要是以下几种：

(1)基础监控：对物理服务器和虚拟机的CPU运行、内存运行、存储运行、IO读写的进行实时监控，提供利用率数据，提供告警机制，根据固定的阈值触发告警。

(2)高级监控：监控的对象包括底层资源、应用层、安全等。监控对象全面，即包括底层资源，也包括资源上面的应用监控，同时还对虚拟化环境下的安全进行监控。

上述的两个技术方案，比较呆板，不够智能。方案(1)中，只是对云计算环境的资源层面进行监控管理，只能帮助用户及时发现资源使用的瓶颈，在一定的程度上能够预防大数据业务以及传统的业务系统出现问题。而方案(2)中，虽然监控的范围比较广，即能监控业务运行的底层资源，也能监控上层的应用运行情况，还可以及时提供触发告警信息帮助用户解决业务运行的问题，但是方案(2)依然不是最佳的监控方案，因为每个业务系统对底层资源的灵敏度是不一样的，即不同的业务系统对同样的资源使用瓶颈所产生的反应是不一样。比如，大数据业务中，数据的采集和处理过程对CPU运算、IO读写有比较大的要求，如果网络出现问题，读写出现延迟，那么整个大数据的数据采集业务将收到严重的影响。另一方面，方案(1)和方案(2)中，都没有提供精细化的闲置资源的监控和处理机制。

发明内容

本发明所要解决的技术问题在于，提供一种基于大数据和云计算业务下的智能监控方法及系统，可能根据不同业务系统进行可自定义的差异化监控策略，并且提供智能处理中心和分析中心，对出现的告警进行智能化处理。

为了解决上述技术问题，本发明提供了一种基于大数据和云计算业务下的智能监控方法，包括：监控中心以业务系统为单位设置差异化的监控策略；当业务系统触发监控策略时，监控中心生成告警信息并将告警信息发送至智能处理中心及智能分析中心；智能处理中心根据所述告警信息及处理策略对业务系统进行处理，所述处理策略包括扩展策略、回收策略及冷却策略；智能分析中心收集并统计分析告警信息，并将结果反馈至监控中心。

作为上述方案的改进，所述监控策略包括底层资源基础监控策略、上层业务应用监控策略及闲置资源高级监控策略。

作为上述方案的改进，所述底层资源基础监控策略包括：监控中心实时获取虚拟主机的技术指标，所述技术指标包括中央处理器CPU利用率、虚拟主机内存使用率及磁盘IO使用率；分别设置各技术指标触发告警的阈值及逻辑关系。

作为上述方案的改进，所述上层业务应用监控策略包括：监控中心获取业务系统里安装的应用，并设置开启业务监控功能。

作为上述方案的改进，所述闲置资源高级监控策略包括：为业务系统的虚拟机设定监控指标，所述监控指标包括指标单点闲置阈值、单点采集周期、闲置统计周期、指标闲置比例及逻辑关系；根据监控指标判断虚拟机的闲置结果。