[发明专利]一种监控数据采集服务器的方法

说明书

技术领域

本发明涉及Oracle数据库监控，Hadoop 数据库监控，Mongodb技术领域，具体地说是一种监控数据采集服务器的方法。

背景技术

随着网络和信息技术的不断普及，人类产生的数据量增长速度不断加大。据IDC的报告，未来10年全球数据量将以40%的速度增长，2020年全球数据量将达到35ZB。新数据源的大量出现导致了非结构化、半结构化数据爆发式增长，数据的计量单位由TB-PB-EB-ZB逐级别进行调整。这些产生的数据已远远超越了目前人力所能处理的范畴。这标志着大数据的时代已然到来。

为了采集纷繁复杂的互联网数据，需要部署数十台乃至上百台服务器进行并发操作。目前的监控还处在非智能阶段，需要人工登录每个服务器检查数据的采集情况。每天重复相同的工作，效率低下，人工成本高。再加之服务器偶尔出现的不稳定状况，还会导致出现数据监控不及时、采集数据不完整等情况。 

发明内容

本发明的目的是提供一种监控数据采集服务器的方法。

本发明的目的是按以下方式实现的，通过对服务器地址配置，对各个服务器的采集程序进行模拟操作，实现对各个模块状态的采集，具体步骤如下：

（1）完成对监控的服务器、数据库、邮箱、采集类型的相关配置；

（2）通过监控手段，对数据库的采集程序的如下方面进行监控：

1）数据量的监控，分为已采集数据量和未采集数据量；

2）采集效率的监控，采集互联网单个网页页面信息所需要的时间；

3）异常监控，将采集程序出现异常时产生的大量数据存到MongoDb数据库中，并在服务器程序停止运行时，发送告警信息；

4）数据库监控，例如对数据库剩余空间和数据表操作的监控；

5）自动生成监控图，包括Oracle数据库存储量监控图，Hbase数据库监控图和Hadoop系统监控图。

本发明的优异效果：解决了对数十台、数百台及更多的服务器难以监控的困难。目前，有数百台服务器每天进行互联网采集，需要对互联网数据的采集状态、采集效率、存储空间等等进行监控，这就需要人工进行监控及统计。监控数据采集服务器的方法可以极大程度上减少人工量，又能及时反馈服务器出现的问题。

附图说明

图1是监控数据采集服务器的工作原理图。

具体实施方式

参照说明书附图对本发明的监控数据采集服务器的方法作以下详细地说明。

本发明通过对每台服务器的采集状态进行监控，极大程度上缓解人工监控的诸多局限性。

实施例

由于每台服务器采集的类型、存储情况都不一样，因此需要通过以下几步进行实施：

1.  安装监控数据采集的系统、配置关系型数据库；

2.  配置MongoDb数据库；

3.  启动定时监控插件；

4.  展示监控后的数据，生成监控图表。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。