[发明专利]可动态配置的分布式网络数据监控系统及方法

说明书

技术领域

本发明涉及一种计算机网络技术领域的数据监控系统及方法，具体是一种可动态配置的分布式网络数据监控系统及方法。

背景技术

随着Internet的不断发展，当前Internet上承载了越来越多的重要应用，网络结构也日益复杂。对网络性能的测量是对整个网络行为特性进行深入了解、分析发现网络性能瓶颈、优化网络资源配置以及加强网络管理的重要手段。与此同时，即时通讯已成为基于Internet的人类现代交流活动的主要形式之一。但由于Internet本身的开放性和隐密性，人们通讯的内容不易受到监控，难免存在一些恶意的言论，例如危害国家的言论、欺骗性的言论等，所以对于即时通讯的内容监控是相当必要的。

现有技术中的网络监控系统中可以看到网络流量状况，客户端与服务器以及客户与客户之间的数据交换。网络监控系统可以看到在网络中传输的数据并建立踪迹。一种最常用的网络监控系统是开源的网络包分析工具Wireshark。举例来说，网络监控器可用于发现并修理网络以及应用性能故障，监测网络试用的情况，监测网络物理故障，并可以查找网络安全隐患，以及采集网络流量进行分析。

经过对现有技术的文献检索发现，中国专利申请号：200510101365.4，公开号为：CN1852297，专利名称为：《网络数据流识别系统及方法》，该专利中数据流识别模块根据数据流特征库中的网络数据流特征识别特定的数据流。其具体的方法是通过分解由分光机或网络镜像服务器中的数据流，依据分解所得数据内容来同数据流特征库中的内容进行比对而获取所需的数据。其不足在于，该系统在记录网络活动方面较有价值，但是其在分析网络活动方面功能非常薄弱，因为其不能识别数据传输的协议，举例来说，该监控系统不能识别HTML、XML及其他协议。

此外，不论是上述系统还是在Wireshark软件中，对于需要分析的数据包设置了各种各样的规则，这些规则是预先编程的，用户没有调整这些规则的灵活性。同时分析器是在单机环境下运行的，虽然可以对本地网络的监控比较方便，但是遇到需要对多个网络进行监控的时候就显得无能为力。

发明内容

本发明针对上述现有技术的不足，提供了一种可动态配置的分布式网络数据监控系统及方法，使其依据用户配置来为对多个网络中的数据进行采集、过滤和分析处理。

本发明是通过如下技术方案实现的：

本发明涉及一种可动态配置的分布式网络数据监控系统，包括：数据采集代理模块、数据中心模块，其中：

数据采集代理模块依照用户设定的配置文件对所属网络数据平台的数据进行采集，并对采到的数据进行预处理，预处理包括数据包过滤和数据包拆包操作，数据包过滤是指协议过滤操作，依据用户定义的协议过滤机制抛弃无效的数据包，因此有效的协议过滤设置能够极大的减少需要处理的数据量，提高系统效率；数据包拆包操作是根据用户的展示内容提取数据包中的有用信息，并将用户所需的数据，以XML文件(XML是SGML(标准通用标记语言)的简化版本)的形式上报给数据中心模块；

数据中心模块负责处理数据采集代理模块上报的XML形式的数据文件，并通过查询XML文件以及配置更新XML文件对数据采集代理模块进行动态管理。

所述用户所需的数据，包括：数据采集代理模块采集到的网络数据、数据中心模块进行查询的结果信息、数据采集代理模块产生的心跳信息以及数据采集代理模块同数据中心模块之间的同步信息等。

所述数据采集代理模块，包括：数据采集模块、后台处理模块、通信模块、命令行模块、主控模块，其中：

数据采集模块负责监听数据采集代理模块所处的网络数据平台的数据传输活动，对于捕获到的网络数据通过消息队列发送到后台处理模块；

后台处理模块通过消息队列接收由数据采集模块传递过来的网络数据，并对该数据进行拆包以及缓存操作，并将缓存的数据写入用于上报数据的XML文件中，将文件名以消息的形式通过消息队列发送给通信模块；

通信模块根据主控模块发送的数据采集代理启停信号，实现与数据中心模块链路的连接与断开，在连接状态时，将包含用户所需数据的XML文件发送到数据中心模块中，同时将从数据中心模块接收到的数据保存到临时文件中，并将临时文件的名字通过消息队列发送到主控模块中；在断开状态时，通信模块向主控模块发送信号，通知主控模块已经停止与数据中心模块的通信；

命令行模块根据主控模块的启停信号负责对用户输入命令的读取、解释以及转发操作，命令行模块将解析后的用户命令通过消息队列发送到主控模块；