[发明专利]一种数据采集方法和系统

说明书

本发明公开了一种数据采集方法和系统，涉及计算机网络通信技术领域。本发明实施例采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系；当接收到采集任务，采集服务端根据所述采集任务的目标采集终端的网络连通关系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务。可见，本发明实施例通过HTTP协议实现数据采集，从而避免了频繁配置MQ消息队列的繁琐及大量占用资源的问题，本发明实施例使得数据采集更加高效、便捷而且也节省了大量的网络资源。

技术领域

本发明涉及计算机网络通信技术领域，特别涉及一种数据采集方法和系统。

背景技术

在网络运维管理中，用户需要了解不同服务器上的数据信息，如内存剩余容量、磁盘剩余大小等信息，因此，数据采集是网络运维管理系统中非常常见的一种操作需求。但是，现有数据采集方案中，采集服务端与各采集终端之间的消息传递是通过一个消息中间件来进行关联，如MQ消息队列，把MQ消息队列部署到中间网络的服务器上，该部署了MQ消息队列的中间网络服务器所在的网络，与采集服务段的网络和采集终端所在的网络是通的，多个网络需要部署多个MQ消息队列。

可见，现有数据采集方案中，应用程序和采集应用程序通信时，要借助MQ中间件来做消息中转，应用程序信息不直接交互，并且采集应用程序服务器分属于多个网络时，就需要部署多个MQ,占用的资源比较多，而且部署和配置MQ比较繁琐。

发明内容

鉴于上述问题，本发明实施例提供一种数据采集方法和系统，通过采用HTTP协议实现采集服务端与采集终端之间的消息传输，避免设置消息中间件带来的繁琐及资源浪费的问题。

本发明实施例采用了如下技术方案：

本发明一个实施例提供了一种数据采集方法，所述方法包括：

采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系；

当接收到采集任务，采集服务端根据所述采集任务的目标采集终端的网络连通关系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务。

所述采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系包括：

采集终端利用PING命令PIN采集网络中的采集设备，将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址；所述采集设备为采集服务端及其它采集终端；

采集终端将各自的父IP地址同步至采集服务端。

所述当接收到采集任务，采集服务端根据所述采集任务的目标采集终端的网络连通关系，采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务包括：

当接收到采集任务，采集服务端解析所述采集任务，确定采集任务对应的目标采集终端；

在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址；

判断目标采集终端的父IP地址中是否有采集服务端IP地址，若有，则采集服务端直接采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务；

若目标采集终端的父IP地址中没有采集服务端IP地址，则查找目标采集终端父IP地址对应采集终端的父IP地址，在查找得到的父IP地址中判断是否有采集服务端IP地址，若有，则将包括采集服务端IP地址的采集终端作为采集代理端，采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互，完成数据采集任务；