[发明专利]一种Web日志数据的预处理方法

权利要求书

1.一种Web日志数据的预处理方法，其特征在于，包括以下步骤：

(1)、建立一个缺省的规则库来帮助删除Web日志数据不需要的记录；

缺省的规则库对网站类型进行简单分类，不同类型的站点对应不同的规则；

(2)、确定需要进行Web日志挖掘的网站属于哪一类，然后按照网站类型在缺省规则库中找到对应的规则，对Web日志数据进行相应的清理，如果遇到缺省规则库中没有的网站类型，返回第(1)步进行新类型规则添加；

(3)、利用IP地址、操作系统、浏览器组建一个启发式规则来进行用户识别，将Web日志数据的各条访问记录按照不同的用户进行分组，得到各个用户的页面访问序列；

(4)、对每个用户的页面访问序列以网站的首页作为新会话开始的标记，结合用户直接通过各导航页访问感兴趣页面的情况来进行用户的会话识别，得到用户一次或多次会话的页面访问序列；

(5)、用基于网站页面参引关系对用户一次会话的页面访问序列进行访问路径补充，得到最终的各用户访问Web页面的一次或多次会话的页面访问序列，完成Web日志数据的预处理。

2.根据权利要求1所述的Web日志数据的预处理方法，其特征在于，所述的简单分类为：文字内容网站、图片网站、音视频网站；

缺省的规则库的规则为：

a、无论网站属于哪一种类型都必须默认删除的记录有：

①删除扩展名为cgi、js和JS的脚本文件的索引日志记录；

②删除返回代码为404(未找到)、301(永久删除)或500(内部服务器错误)等用户请求访问失败的记录；

③删除用户请求方法不是GET的记录；

④删除扩展名为.css的页面外观布局文件；

b、网站类型为文字内容网站：

①删除1中规定的默认删除记录；

②删除扩展名为.tif、.jpg、.jpeg、.swf、.mp3、.mp4、.wma、.amr、.avi、.rmvb、.wmv、.flv的日志记录；

c、网站类型为图片网站：

①删除1中规定的默认删除记录；

②删除扩展名为.mp3、.mp4、.wma、.amr、.avi、.rmvb、.wmv、.flv的日志记录；

d、网站类型为音视频网站：

①删除1中规定的默认删除记录；

②删除扩展名为.tif、.jpg、.jpeg的日志记录。

3.根据权利要求1所述的Web日志数据的预处理方法，其特征在于，所述的用户识别为：

①不同的IP地址代表着不同的用户；

②在IP地址相同时，默认的操作系统或浏览器不同代表不同的用户。

4.根据权利要求1所述的的Web日志数据的预处理方法，其特征在于，所述的用户会话为用户从进入站点到离开站点期间所访问的一系列页面序列集合；

所述的会话识别为：

①首先用户页面访问序列中的第一条访问记录是第一次会话的开始，置入第一次会话的页面访问序列中；

②读取用户页面访问序列中的下一条访问记录，直至序列中所有记录都处理完毕；

③判断访问页面是否是站点的首页，若是首页，则当前会话结束，新会话开始，将该条访问记录置入下一次会话的页面访问序列中，然后转步骤②处理下一条访问记录，否则，转步骤④；

④设定一次会话的最大时间阀值为T，若当前访问记录的访问时间t_n与本次会话的第一访问记录的访问时间t₁之差小于T，转步骤⑤；若大于等于T，则当前会话结束，新会话开始，将该次访问置入新会话的页面访问序列中，返回步骤②处理下一条访问记录；

⑤判断当前访问记录的访问页面是否是站点的导航页之一，若不是，即该页面为内容页，则将当前访问记录置入当前会话的访问序列中，然后转步骤②继续处理下一条访问记录；否则，若该访问页面是导航页之一，转步骤⑥判断它的上一条访问记录；

⑥判断上一条访问记录，若上一条访问记录的访问页面是首页，则当前访问记录和上次访问记录同属一个会话；若上一条访问记录访问的页面不是首页，则当前访问访问为新会话的开始，将其置入新会话的页面访问序列中，转步骤②，处理下一条访问记录。

5.根据权利要求1所述的的Web日志数据的预处理方法，其特征在于，所述的路径补充为：

①判断用户一次会话的页面访问序列的相邻两个访问记录中的访问页面Pid_i、Pid_i+1是否有直接参引关系，如果有直接参引关系则不需要路径补充，否则转到步骤②；

②找出以访问页面Pid_i为参引页面的页面集Q₁；

③找出以访问页面Pid_i+1为参引页面的页面集Q₂；

④寻找页面集Q₁与页面集Q₂的交集页面，根据参引关系，将访问页面Pid_i到交集页面再到访问页面Pid_i+1补充到用户访问页面路径中，得到最终的用户访问Web页面的一次或多次会话的页面访问序列。