[发明专利]一种基于嗅探的分布式网络数据采集方法及系统

说明书

技术领域

本发明涉及数据采集领域，尤其涉及一种基于嗅探的分布式网络数据采集方法及系统。 

背景技术

现有技术，通常是通过在应用层(Application Layer)上额外编写代码的方式进行数据采集，例如：HTTP(Hypertext Transfer Protocol，超文本传输协议)、SIP(Session Initiation Protocol，会话启动协议)等应用层协议；或者通过硬件方式进行数据采集。这两种方法，前者对所要采集的具体应用程序依赖性很大，因而缺乏通用性和移植性，不能使得数据采集程序独立于具体应用程序，而成为单独的应用程序，且对于采集到的数据不易于有效传输；后者，网络数据采集成本较高、不易于部署。 

发明内容

本发明要解决的技术问题是提供一种基于嗅探的分布式网络数据采集方法及系统，能够在几乎不影响目标监测系统的情况下，完成较大规模网络数据的采集。 

为了解决上述问题，本发明提供了一种基于嗅探的分布式网络数据采集系统，包括： 

若干个客户端和若干个上传功能单元； 

各所述客户端分别位于不同的目标监测系统中，用于通过所在目标监测系统的操作系统中的包过滤器完成所在目标监测系统的网络数据包的嗅探、读取和处理，并根据预定的上传配置信息向相应的上传功能单元上传处理后的数据； 

所述上传功能单元用于接收所述客户端上传的数据，并提供接口供其它程序访问所述数据； 

所述上传配置信息至少包括：为该客户端所分配的上传功能单元的位置信息。 

进一步地，所述客户端具体包括： 

网络嗅探子单元、处理子单元、数据上传子单元和数据上传配置子单元； 

所述数据上传配置子单元用于提供预定的上传配置信息给所述数据上传子单元； 

所述网络嗅探子单元用于通过所在目标监测系统的操作系统中的包过滤器从网络接口中嗅探、读取单个网络数据包，交给处理子单元； 

所述处理子单元用于根据预定的处理规则对接收的网络数据包进行处理，将处理后的数据发送给所述数据上传子单元，并根据所述处理规则指示该数据所对应的上传功能单元组； 

所述数据上传子单元用于从所述上传配置信息中，获取所述处理子单元所指示的上传功能单元组中一或多个上传功能单元的位置信息，向该上传功能单元上传从处理子单元接收到的数据。 

进一步地，所述处理规则包括： 

从所接收到的网络数据包中筛选数据的条件，以及上传数据的规则；所述上传数据的规则包括分类规则和各类数据所要上传到的上传功能单元组； 

所述处理子单元根据所述处理规则对接收的网络数据包进行处理，以及指示该数据所对应的上传功能单元组是指： 

所述处理子单元解析所接收的网络数据包，如果解析得到的数据满足所述筛选数据的条件，则保留；否则丢弃；再根据所述上传数据的规则，将所保留的数据进行分类，将要上传给同一组上传功能单元的数据分为一类；根据所述上传数据的规则指示各类数据对应的上传功能单元组。 

进一步地，所述的系统还包括： 

上传功能定位器单元； 

所述数据上传配置子单元还用于向所述上传定位器单元发送定位请求，并接收所述上传功能定位器单元返回的上传配置信息； 

所述上传功能定位器单元用于在接收客户端的数据上传配置子单元的定位请求后，分配一个或多个上传功能单元给该客户端，根据所分配的上传功能单元生成相应的上传配置信息，并返回给数据上传配置子单元。 

进一步地，所述上传功能定位器单元分配一个或多个上传功能单元给客户端是指： 

所述上传功能定位器单元对该客户端上传代价进行计算，并根据计算得到上传代价，从各上传功能单元组中选择上传代价较小的一个或多个上传功能单元分配给该客户端。 

所述上传功能定位器单元通过定时对上传功能单元进行轮询，发送、接收测量数据包来完成客户端上传代价的计算。 

本发明还提供了一种基于嗅探的分布式网络数据采集方法，应用在如权利要求1所述的系统中，包括： 

分别在各目标监测系统中加载一客户端； 

各客户端通过所在目标监测系统的操作系统中的包过滤器完成所在目标监测系统的网络数据包的嗅探、读取和处理，并根据预定的上传配置信息向相应的上传功能单元上传处理后的数据；