[发明专利]Web访问日志处理方法

说明书

技术领域

本发明涉及计算机软件处理方法，尤其是一种Web访问日志处理方法。

背景技术

Web日志是记录Web服务器接收处理请求以及运行时错误等各种原始信息的 以·log结尾的文件，确切的讲，应该是服务器日志。本文所使用的是访问日志。 Web日志最大的意义是记录网站运营中比如空间的运营情况，被访问请求的记 录。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、 什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问 成功。因此通过对数以万计的Web日志的挖掘分析，可以为访问农资电子商务 网站的大量用户提供个性化的推荐服务，增强农资电子商务网站的信息服务质 量，也为网站管理员改进站点结构，性能等提供依据。

Web日志处理是Web日志数据挖掘的基础，为了把Web日志文件转变成实际 可用的，格式化的，适合进行数据挖掘的可存储的数据库文件。目前有很多日 志处理的工具，如：WebLogReader,IISLogViews等，或是只具有简单的日志查 看功能，或者处理后的粒度过于粗糙，缺乏一种处理后直接适用于数据挖掘的 日志处理系统。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种Web访问日志处 理方法，提供了更完善的日志分析功能，为数据挖掘打下来较好的基础。本发 明采用的技术方案是：

一种Web访问日志处理方法，包括下述步骤：

步骤S1，首先从Web服务器端读取Web日志文件，使用正则表达式获取Web 日志文件格式结构中的信息，从而将得到的Web日志文件格式化；

步骤S2，进行Web日志清理；

步骤S3，进行用户识别：

步骤S4，进行用户会话识别，在用户会话识别后，参考referrer属性形成 带有用户访问操作顺序的序列，即用户访问操作序列；

步骤S5，进行路径补充；对于用户通过返回按钮返回前一页时，缺失的日 志记录补充完整；

步骤S6，进行事务识别。

进一步地，所述步骤S2中包括：

S2.1，清除爬虫所产生的日志条目；

S2.2，清除path属性值后缀名是GIF、JPG、JPEG、PNG、MIDI、MP3、AVI、 CSS、JS的日志条目；

S2.3，清除客户请求不成功的日志条目，即status号码属性值不为2XX的 日志条目：

S2.4，清除请求方式不是GET和POST的日志条目。

进一步地，所述步骤S3则用户识别规则为：

(a)IP地址不同则不是同一个用户；

(b)在IP地址相同的情况下，如果使用的浏览器或者操作系统不同，则 用户不同；

(c)如果IP地址相同且浏览器和操作系统也相同，就根据引用页进行区 别；如果引用页为空，就认为是一个新的站点用户；如果引用页不为空并且多 个用户都包含这个引用页，则将该引用页划为时间上最近访问用户，然后不同 的引用页对应不同的用户。

进一步地，步骤S4中，会话识别的规则为：如果用户访问两个页面请求的 时间差超过一定阈值，就认为用户开始了一个新的会话。

进一步地，步骤S6中，采用最大前向参引模型的方法进行事务识别。

本发明的优点在于：本方法提供了更完善的日志分析功能，提高了日志处 理的精度，提高了日志分析的效率，使得日志处理更即时，更全面。满足了分 析人员更全面的需求。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的处理流程图。

图3为本发明的Web日志的一个条目示例图。

图4为本发明格式化示例图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图1所示，本发明的Web访问日志处理方法具体在一个Web访问日志处 理系统上实现，该系统包括Web服务器端、Web访问日志处理模块和存储端；

Web服务器端为各类带有Web访问日志记录系统的Web服务器；

Web访问日志处理模块用于进行下列处理：Web日志格式化，日志清理，用 户识别，会话识别，路径补充，事务识别；