[发明专利]一种网关级在线网络报文检测过滤方法及装置

说明书

技术领域

本发明涉及网络领域，具体地说，是涉及一种网关级在线网络报文检 测过滤方法及装置。

背景技术

电信网的网关等提供用于网络用户行为分析的报文的设备中能够获取 网络中的存储有大量的报文信息，但是，并不是所存储的所有报文都能有 效用于网络用户行为分析。相反，在用户访问互联网的行为中，会产生大 量的不利于网络用户行为分析的噪音报文。对于在电信网侧的用户行为分 析，噪音报文的存在，会产生严重的干扰。但是在现有技术中，网关并不 能很好地识别这些不利于网络用户行为分析的噪音并过滤(清洗)之。

更具体地，由于一般情况下，页面中存在大量内容，例如图片、视 频、广告链接、动画链接等，因此当用户通过浏览器通过HTTP(Hyper Text  Transfer Protocol)协议访问某一网页时，往往会触发很多的HTTP的GET报 文(下文简称GET报文，也称作请求报文)。

比如在用户访问URL为http://sports.sina.com.cn的网页时，将产生除 HOST为sports.sina.com.cn、PATH为空字串以外的大量其它GET报文，但 是对于分析用户行为系统来说，只希望得到用户访问了网址 http://sports.sina.com.cn的分析结果，而并不一定关注用户是否访问了该网址 以外的其它网址，此时，除为访问网址http://sports.sina.com.cn以外的GET 报文则极可能为用户行为分析系统所不期望的干扰报文。

但是，由于访问http://sports.sina.com.cn的GET报文与其他干扰报文在 报文结构上没有任何区别，因此现有技术的网关并不能很好地将干扰报文 过滤。其中，GET报文由请求行(request line)、请求头部(header)、空 行和请求数据4个部分组成。请求头部由字段名(亦称关键字或字段)与字 段值对组成，每行一对，字段与值之间用英文冒号“：”分隔。字段包括 User-Agent、Accept、Host等，另外，请求行中包括path字段的值。图3示 出了GET报文请求的例子。

在不能对干扰报文很好地过滤的情况下，不仅会造成网络带宽资源、 网络用户行为分析系统服务器资源等的浪费，还会对网络用户行为分析的 分析结果产生严重干扰。

发明内容

本发明所要解决的技术问题是需要提供一种网关级在线网络报文检测 过滤方法及装置。

为了解决上述技术问题，本发明提供了一种网关级在线网络报文检测 过滤方法。该方法包括：步骤A：在线检测HTTP的GET报文；步骤B：对 所述GET报文进行解析，以获取所述GET报文中的字段的值；以及步骤C： 基于报文过滤策略库和所述GET报文中的字段的值，对所检测到的GET报 文进行过滤，其中，所述报文过滤策略库由一条以上报文过滤策略构成，所 述报文过滤策略用于确定各所述GET报文是干扰报文还是非干扰报文。

根据本发明又一方面的网关级在线网络报文检测过滤方法，在步骤A 之前，还执行获取所述报文过滤策略库的步骤，其中，所获取的报文过滤策 略库是基于预定数量的GET报文而离线构建的。

根据本发明又一方面的网关级在线网络报文检测过滤方法，通过如下 步骤来离线构建所述报文过滤策略库：子步骤A1：获取预定数量的GET报 文；子步骤A2：随机提取所获取的GET报文的一部分GET报文；子步骤 A3：对所提取到的这部分GET报文进行解析，以获取GET报文中的字段的 值；子步骤A4：基于子步骤A3所获取的GET报文的字段及其值，构建报 文过滤策略库；子步骤A5：依据所构建的报文过滤策略库，对子步骤A1中 所获取预定数量的GET报文进行过滤，依据过滤结果调整子步骤A4所构建 的报文过滤策略库。

根据本发明又一方面的网关级在线网络报文检测过滤方法，子步骤A4 中，基于子步骤A3所获取的GET报文的字段及其值，接收用户每次根据一 条或多条子步骤A3所获取的GET报文的字段及对应的值而设置的报文过滤 策略，以构建报文过滤策略库。

根据本发明又一方面的网关级在线网络报文检测过滤方法，步骤C中， 通过双数组单词查找树算法来匹配所述报文过滤策略库和所述GET报文中 的字段的值，以对所检测到的GET报文进行过滤。

根据本发明又一方面的网关级在线网络报文检测过滤方法，还包括：