[发明专利]一种网络应用层信息监控的方法

说明书

技术领域

本发明涉及网络应用层信息监控技术，这项技术是宽带业务终端的核心之一，其主旨是监控、记录、显示、统计经过业务终端设备的各种网络数据，如邮件、网页访问、聊天记录，为网络管理人员提供高效便捷的网络行为分析服务。防止网络使用者滥用互联网、消耗资源和浪费工作时间甚至泄露公司机密。

背景技术

随着宽带网络的发展，网络安全和管理问题也日益凸显。网络为工作提供便利的同时也分散着企业员工的注意力。一些缺乏自律的员工在工作时间看新闻、玩游戏、聊天，更有甚者干私活、泄密公司资料。这些做法轻则消耗公司资源，重则影响到工作效率、破坏办公氛围，已经成为很多公司运作发展的严重隐患。而引入网络监控软硬件设备来管理控制网络也就成为了公司管理者的必然选择。

对于网络监控功能，主要有两种实现方式：聘用专职网管设计实现，或者购买网络监控软硬件产品。前者对网管人员的技术水平要求很高，而后者又往往价格不菲。另外，两者有个共同的局限性：监控主机上的监控功能完全由用户态软件实现，程序效率不高。其结果是要么监控功能影响到网络的通畅，对办公造成负面影响；要么监控不够完整，信息大量丢失；要么为达到要求付出高昂的硬件成本。

发明内容

本发明的目的在于利用一种与传统网络监控方式相比高效得多的监控技术，实现网络应用层数据监控分析，为企业用户提供便捷低成本的网络监控、数据存储、分析、统计一体化解决方案。

本发明根植于Linux这个开源系统平台，采用模块化设计理念，可以方便地进行功能扩展。而不依赖具体硬件的特点，使其在各式32/64位主机上都能运行良好，现已顺利移植到国产龙芯64位平台，经测试可以充分发掘其执行潜力，完全可以满足功能完善、低能耗高效率的使用要求。

本发明主要部分包括：

(a)效率极高的内核收包模块

(b)用户态的分类解析模块

(c)存储统计模块

以下就各部分作详细介绍：

(a)效率极高的内核收包模块

这个模块是本发明的核心，与其它监控技术所采用的用户态程序收包方式相比，内核收包经测试可以获得10倍以上的效率提升。其主要过程是：

(a1)与用户态程序建立连接，创建高速缓冲区，这一步骤只在程序启动时执行，资源开销是一次性的。

(a2)操作系统内核通过网络协议栈接受数据包，将其存入缓冲区。由于收包的主要操作在内核中实现，不需要用户态程序频繁切换到内核态获取数据，因此可以获得很大程度的性能提升。

(a3)通过与用户态程序建立的连接将数据包传递到用户空间，完成后继续第二步。由于采用底层的内核态与用户态通信机制，并且采用了批量传递机制，这一步的系统开销极少。

(b)用户态的分类解析模块

用户态程序得到内核的提示后，可以通过与内核态程序建立的连接方便地得到网络数据包。但此时的数据包是含IP头的原始包，要得到对用户所需要的结果，还需要做以下处理：

(b1)重组数据包，得到完整的数据流。这一步完全依照TCP/IP标准实现，最大限度地保证兼容性和扩展性。此外也引入缓冲区机制，将不完整的数据保存到启动时开辟的缓冲区，等数据获取完整后再统一处理。

(b2)对数据流进行分析，截取需要的数据。这一步也是效率提升的关键之一，本模块利用高级的数据结构，关键性的代码由汇编实现，很好地达到了设计要求。

(b3)对于个别的网络应用无需重组数据包，只要分析各数据包中的关键字即可获得需要的数据，这也有助于本模块乃至整套监控系统可以进一步提升效率。

目前，用户态模块可以分析的网络应用主要有电子邮件、网页浏览、聊天通讯，除却个别加密或涉及版权的网络应用以外，整体的监控识别率在95％以上。用户态模块还可以很方便的进行定制，根据用户的需求单独开启某一项、几项监控功能，更支持由用户指定受监控的主机、时段等条件，最大限度地为用户提供使用上的灵活性。

(c)存储统计模块

得到所需要的数据后，需要将数据存入数据库。这部分的设计重点是解决由于数据量过大带来的数据库过于庞大，存储查询极耗费资源的问题。解决方案是：

(c1)对要保存的数据进行压缩，在存储空间和处理时间之间取得最佳平衡点

(c2)优化存储结构，合理设计数据表的格式，对于尺寸庞大的数据比如几十MB的邮件作单独的保存，数据库中只保存其查询路径。