[发明专利]诸如用于Web服务器的灵活的日志记录

说明书

背景

Web服务器一般产生活动日志，这些日志提供该web服务器所接收到的请求以及所发出的响应的记录。W3C主张用于web服务器日志文件的标准格式(参见，如“http://www.w3.org/TR/WD-logfile”)，不过还存在其他的专有格式。大多数的分析工具支持标准日志文件格式，不过有关每个服务器事务的信息是固定的(fixed)。服务器一般将更新的条目添加在日志文件的尾端，且服务器可周期性地开始新的日志文件(如，在当前日志达到特定大小时或经过一段时期后)。服务器一般添加有关请求的信息，包括客户机IP地址、请求日期/时间、所请求的页面、HTTP响应代码、所提供的字节、用户代理和推荐者(referrer)。该服务器可将这些字段组合到单个文件中，或者将它们拆分到不同的日志中，诸如访问日志、错误日志或推荐者日志。这些文件一般不能由普通的因特网用户访问，而仅能由网站管理员或其他管理员访问。以下是典型的wen服务器日志的示例。

#Version：1.0

#Date：12-Jan-1996 00:00:00

#Fields：time cs-method cs-uri

00:34:23 GET/foo/bar.html

12:21:16 GET/foo/bar.html

12:45:52 GET/foo/bar.html

12:57:34 GET/foo/bar.html

网站管理员可使用对web服务器日志的统计分析按照一天内的时间、一周内的天、推荐者或用户代理来检验通信量模式。对Web服务器日志的分析可有助于有效的网站管理、充足的主存资源和销售努力的微调。Web分析是出于理解和优化网站用途目的的对因特网数据的测量、收集、分析和报告。站点上的web分析法测量访问者(一旦)在网站上的旅程。这包括驱动(driver)和会话；例如，登陆页鼓励人们做出购买，以及在商业环境中的网站的性能。此数据通常与组织性能指示符作比较，并用来改善网站或营销活动的观众响应。

很多不同的供应商提供站点上的web分析法软件与服务。有两种用来收集数据的主要技术方法。第一种方法即日志文件分析，读取其中web服务器记录其所有事务的日志文件。第二种方法即页面标签，在每个页面上使用JavaScript来通知第三方服务器何时web浏览器呈现了页面。两种方法均收集可被处理以产生web通信量报告的数据。

Web日志分析软件(也称为web日志分析器)是简单种类的web分析法软件，该软件解析来自web服务器的日志文件，并基于包含在该日志文件中的值，得到关于谁、何时以及如何访问web服务器的指示符。一般报告立即从日志文件产生，不过替代地，可将日志文件解析到数据库中并按要求产生报告。在1990年代早期，网站统计数据主要由向web服务器做出的客户机请求(或点击(hit))的计数组成。一开始这是合理的方法，因为那时每个网站经常由单个HTML文件组成。然而，随着HTML中图像的引入以及跨多个HTML文件的网站的引入，此计数变得不那么有用。

Web高速缓存的广泛使用也提出了关于日志文件分析的问题。如果有人重新访问页面，则经常从浏览器高速缓存中取回第二个请求，所以web服务器将接收不到请求。这意味着这个人通过该站点的路径丢失了。可通过配置该web服务器来战胜高速缓存，不过这对访问者而言可导致网站的性能下降。Web分析法供应商通过添加使客户机向日志服务器报告使用信息的客户机侧逻辑来战胜这个现象，从而促使更多的日志分析。

Web日志分析还展现出多个不希望有的问题。首先，在日志的处理中存在固有延迟。存在从接收到请求的时间到请求被写入日志的时间之间的延迟(如，由于操作系统或硬件转储清除的延迟磁盘高速缓存)、将日志放到将作分析之处的延迟以及在处理日志并以适于分析的格式(诸如经由数据库中的行)提供数据的延迟。这些延迟中的每一个意味着内容提供者不能发现有关正在使用的提供者站点的最新信息。对于一些类型的内容而言，诸如现场媒体事件，这可能意味着直到事件结束还没有关于事件成功的有意义分析。诸如负载平衡的某些决定可用有关站点使用的更即时信息来改善，这些更即时信息一般可通过仅提供过程级别数据(如，没有访问者或请求信息)的其他方式得到(诸如通过监测性能计数器)。