[发明专利]一种Web日志数据的预处理方法

摘要

本发明针对Web日志挖掘系统，提出了一种Web日志数据的预处理方法，首先采用缺省的规则库对无用信息，即不需要的记录进行删除，并通过对规则库的修正来完成Web日志数据清理；然后利用启发式规则来解决代理和防火墙带来的用户识别难题，并结合对首页和导航页的综合考虑来完成对用户的会话识别；最后，用基于网站页面参引关系对访问路径进行补充，得到最终的各用户访问Web页面的页面访问序列，完成Web日志数据的预处理。与传统的以简单时间阀值会话识别相比，本发明明显提高对用户访问行为挖掘的精确度和可信度。

主权项

一种Web日志数据的预处理方法，其特征在于，包括以下步骤：(1)、建立一个缺省的规则库来帮助删除Web日志数据不需要的记录；缺省的规则库对网站类型进行简单分类，不同类型的站点对应不同的规则；(2)、确定需要进行Web日志挖掘的网站属于哪一类，然后按照网站类型在缺省规则库中找到对应的规则，对Web日志数据进行相应的清理，如果遇到缺省规则库中没有的网站类型，返回第(1)步进行新类型规则添加；(3)、利用IP地址、操作系统、浏览器组建一个启发式规则来进行用户识别，将Web日志数据的各条访问记录按照不同的用户进行分组，得到各个用户的页面访问序列；(4)、对每个用户的页面访问序列以网站的首页作为新会话开始的标记，结合用户直接通过各导航页访问感兴趣页面的情况来进行用户的会话识别，得到用户一次或多次会话的页面访问序列；(5)、用基于网站页面参引关系对用户一次会话的页面访问序列进行访问路径补充，得到最终的各用户访问Web页面的一次或多次会话的页面访问序列，完成Web日志数据的预处理。