[发明专利]一种分离式多级缓冲网络内容过滤系统及方法

说明书

技术领域：

本发明涉及网络技术领域，具体涉及一种分离式多级缓冲网络内容过滤系统及方法。

背景技术：

随着科技进步和人类文明的发展，以互联网为代表的信息技术革命深刻的冲击和改变着社会生活和生产的各个领域。然而在互联网提高效率从而创造巨大价值的同时，也给我们带来了不可避免的问题：淫秽色情反动内容的泛滥，企业技术资料商业机密泄露，员工上班时间从事与工作无关的网络娱乐活动等成为我们亟待解决的问题。

随之产生了网络内容过滤系统，现有的网络内容过滤系统一般包括抓包组流模块和应用协议解析过滤模块两部分。网络内容过滤系统的的工作原理是：先在交换机镜像口监听数据报文，然后进行协议分析，流重组，发送流到内容过滤器进行应用协议的解析和内容过滤。现有技术存在的问题是：1、组流模块到内容内容过滤模块只有发送队列一级缓冲，无法应付高负载情况下的海量数据处理；2、组流模块进行流重组的数据是在内存中由应用程序维护，操作复杂、稳定性不高；3、组流模块与内容过滤模块之间大量数据需要进行一次转发增加了CPU和IO的开销同时容易出现通信失败，导致系统不稳定；4、协议处理和内容过滤没有基于每个流独立处理，无法应付丢包和特殊情况发生。

发明内容：

本发明的目的是提供一种分离式多级缓冲网络内容过滤系统及方法，以克服现有系统中的稳定性差，负载、处理性能较低的问题。

一种分离式多级缓冲网络内容过滤系统，包括流重组模块、协议处理模块、内容过滤模块和日志服务模块；

组流模块负责捕获网络报文，进行协议解码，tcp协议栈处理，组成流文件存储到内存文件系统中，并通过管道向协议处理模块发送消息；

协议处理模块负责对流文件进行处理，解析出ip地址，端口，邮件地址、主题、正文、附件等内容，并把这些文件存储的指定目录，同时在另一对应的目录建立链接文件；

模式匹配模块监控链接文件目录，当有新的链接文件建立时就会受到信号同时获得文件名称，打开该文件进行多模式匹配处理，最后把处理的结果发送给日志服务模块；

日志服务模块接受日志消息根据不同的消息类型挂载到不同的队列，各队列处理线程从各自对列取出消息存储到数据库。

一种分离式多级缓冲网络内容过滤方法：包括以下几个步骤：

步骤一：组流模块建立流文件并写文件名进管道：组流模块在网络接口捕获数据包存入队列，该组流模块的协议处理线程是：从队列读取数据进行数据链路层解码，ip协议处理，tcp流重组处理以流文件的方式存储到内存文件系统，并把时间相关的文件名发送到系统命名管道；

步骤二：协议模块处理流文件产生真实文件和链接：主进程监听命名管道，协议分析模块从系统命名管道一次读取当前管道内的所有数据，并动态创建子进程，并把读到的文件名交给子进程处理，子进程通过文件名读取内存文件系统中的文件还原出http或smtp等应用协议的正文和附件，并存储这些文件到真实的日志目录；同时在一个动态监控目录下建立指向真实文件并和真实文件同名的链接文件，处理完成子进程删除内存文件系统中处理过的流文件然后退出；

步骤三：内容模块读取链接文件进行内容过滤：内容处理模块监控动态目录下产生链接文件的系统信号获取新增加的文件名，读取链接文件内容进行文件格式转换，统一中文编码处理然后通过多模式匹配引擎进行内容过滤，过滤结果通过本地unixsock发送到日志服务进程，然后删除动态目录下即步骤二产生的链接文件；

步骤四：日志模块入队列并根据对立优先级处理：日志服务模块接受日志消息，根据消息类型存储到不同优先级的日志队列，由数据库访问线程根据策略从对列中取日志存储到数据库。

与现有技术比较，本发明的优点是：基于流个数动态进程生成和消亡管理，利用了linux内存文件系统创建流文件，巧妙利用文件关闭时的系统信号机制以及链接的原理；采用分离式模块处理以及模块内具体处理和流程处理分离，降低了系统间耦合，增加了系统的稳定性容错性；系统采用多级缓冲方式处理，减小了系统内部反压，增强了系统处理性能；采用内存文件系统，即管理简单又具有很高的访问速度；巧妙利用连接文件和系统文件信号减少了一次磁盘文件拷贝。

附图说明：

附图为本发明的过滤方法流程图。

具体实施方式：

参见附图，一种分离式多级缓冲网络内容过滤系统包括流重组模块、协议处理模块、内容过滤模块和日志服务模块；

组流模块负责捕获网络报文，进行协议解码，tcp协议栈处理，组成流文件存储到内存文件系统中，并通过管道向协议处理模块发送消息；