[发明专利]一种Web日志数据的预处理方法

说明书

技术领域

本发明属于计算机网络中的人工智能技术领域，更为具体地讲，涉及一种Web日志挖掘系统中Web日志数据的预处理方法。

背景技术

为解决科技高速发展所带来的信息过载等问题，数据挖掘技术应运而生。进入二十一世纪，Intemet已经遍及世界各地。在网络环境下具体需求的驱动下，于是产生了一个新的研究领域——Web挖掘。根据Web挖掘的目的和数据源不同，可以将现有Web挖掘技术分为Web内容挖掘，Web结构挖掘，Web使用挖掘。

Web日志挖掘是现在最普遍应用的一种Web使用挖掘技术。Web日志挖掘便是运用数据挖掘的思想来对Web服务器日志进行分析处理。以此来优化Web站点的组织结构，发现用户浏览站点的共同行为，对不同的客户群进行分类以提供个性化的服务等。但是，直接在Web日志数据上进行挖掘有以下几方面的困难：

1、Web日志挖掘可能只对Web日志数据中的部分有用数据进行挖掘，为此，需要抽取有用的数据，想办法消除Web日志数据中的噪声；

2、多个用户通过代理的请求在日志中具有相同的标示，即代理服务器的IP地址，导致Web日志数据不准确；

3、公司为内部的局域网设置防火墙，不同的用户请求在Web服务器日志中记录的是防火墙的IP地址。

现有的Web日志挖掘系统一般要求输入的Web日志数据是有意义的用户访问行为序列。因此，尽管Web日志挖掘类似于数据库中的数据挖掘，但要充分利用Web日志数据，从中挖掘出有用的用户访问行为信息，Web日志数据的预处理工作是必不可少的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种Web日志数据的预处理方法，使供Web日志挖掘系统使用的Web日志数据得以规范，进而提高对用户访问行为挖掘的准确度与可信度。

为实现上述目的，本发明Web日志数据的预处理方法，其特征在于，包括以下步骤：

(1)、建立一个缺省的规则库来帮助删除Web日志数据不需要的记录；

缺省的规则库对网站类型进行简单分类，不同类型的站点对应不同的规则；

(2)、确定需要进行Web日志挖掘的网站属于哪一类，然后按照网站类型在缺省规则库中找到对应的规则，对Web日志数据进行相应的清理，如果遇到缺省规则库中没有的网站类型，返回第(1)步进行新类型规则添加；

(3)、利用IP地址、操作系统、浏览器组建一个启发式规则来进行用户识别，将Web日志数据的各条访问记录按照不同的用户进行分组，得到各个用户的页面访问序列；

(4)、对每个用户的页面访问序列以网站的首页作为新会话开始的标记，结合用户直接通过各导航页访问感兴趣页面的情况来进行用户的会话识别，得到用户一次或多次会话的页面访问序列；

(5)、用基于网站页面参引关系对用户一次会话的页面访问序列进行访问路径补充，得到最终的各用户访问Web页面的一次或多次会话的页面访问序列，完成Web日志数据的预处理。

本发明的发明目的是这样实现的：

本发明针对Web日志挖掘系统，提出了一种Web日志数据的预处理方法，首先采用缺省的规则库对无用信息，即不需要的记录进行删除，并通过对规则库的修正来完成Web日志数据清理；然后利用启发式规则来解决代理和防火墙带来的用户识别难题，并结合对首页和导航页的综合考虑来完成对用户的会话识别；最后，用基于网站页面参引关系对访问路径进行补充，得到最终的各用户访问Web页面的页面访问序列，完成Web日志数据的预处理。与传统的以简单时间阀值会话识别相比，本发明明显提高对用户访问行为挖掘的精确度和可信度。

附图说明

图1是本发明Web日志数据的预处理方法具体实施方式总体框架图；

图2是图1所示数据清理步骤的具体实施方式的流程图；

图3是图1所示用户识别步骤的具体实施方式的流程图；

图4是图1所示会话识别步骤的具体实施方式的流程图。

图5是路径补充步骤的具体实例图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明Web日志数据的预处理方法具体实施方式总体框架图。