[发明专利]以用户历史优化WEB爬取

权利要求书

1. 一种用于爬取web站点的方法，包括：

从多个web浏览器接收日志数据，所述日志数据指示通过所述web浏览器访问所述web站点的用户；

使用所述日志数据来估计在时间帧期间到所述web站点的业务量；

基于业务量的估计来确定在所述时间帧期间的爬取速率；以及

使用所述爬取速率来调度一个或多个web爬取器来请求所述web站点。

2. 根据权利要求1所述的方法，其中所述日志数据指示由所述多个web浏览器历史上访问的多个统一资源定位符(“URL”)。

3. 根据权利要求1所述的方法，进一步包括基于到所述web站点的业务量的估计来确定用于访问所述web站点的一个或多个峰值和非峰值时间帧，其中所述峰值时间帧是所述web站点比所述非峰值时间帧历史上经历更多的业务量的时间。

4. 根据权利要求1所述的方法，其中所述一个或多个web爬取器在访问所述web站点时分析所述web站点上的内容以便索引所述web站点。

5. 根据权利要求1所述的方法，进一步包括：

从监视对所述web站点的访问的一个或多个分析应用接收分析日志；以及

使用网络管理员数据来规定在所述时间帧期间的爬取速率。

6. 根据权利要求1所述的方法，其中所述日志数据在HTTP URL消息中被接收。

7. 根据权利要求1所述的方法，进一步包括：

接收HTTP错误；以及

基于接收到所述HTTP错误，停止所述一个或多个web爬取器请求所述web站点。

8. 根据权利要求1所述的方法，其中所述爬取速率指示用于访问所述web站点的最大频率。

9. 体现有计算机可执行指令的一个或多个计算机存储媒体，所述计算机可执行指令当被处理器执行时，协调web站点的web爬取，包括：

从web浏览器接收指示历史上的浏览历史的日志数据；

确定所述web浏览器在特定时间访问了所述web站点；

聚合来自多个其它web浏览器的附加的日志数据，所述附加的日志数据指示访问所述web站点的其它web浏览器的附加的历史上的浏览历史；

使用所述日志数据和所述附加的日志数据来估计在时间帧期间到所述web站点的业务量；

基于业务量的估计来确定在所述时间帧期间对于所述web站点的页面请求的门限频率；以及

分配一个或多个web爬取器以便以低于页面请求的门限频率的速率来访问所述web站点。

10. 根据权利要求9所述的媒体，进一步包括：

基于所述日志数据和所述附加的日志数据来确定在第二时间帧期间到所述web站点的业务量的第二估计；以及

基于指示比业务量的估计更少的在所述第二时间帧期间到所述web站点的历史上的业务量的业务量的第二估计，调度所述一个或多个爬取器以便在所述第二时间帧期间比在所述时间帧期间更频繁地访问所述web站点。

11. 根据权利要求9所述的媒体，进一步包括：

基于所述日志数据和所述附加的日志数据来确定在第二时间帧期间到所述web站点的业务量的第二估计；以及

基于指示比业务量的估计更多的在所述第二时间帧期间到所述web站点的历史上的业务量的业务量的第二估计，调度所述一个或多个爬取器以便在所述第二时间帧期间比在所述时间帧期间不太频繁地访问所述web站点。

12. 根据权利要求9所述的媒体，其中对于所述web站点的页面请求的门限频率包括每特定量的时间的请求的数目。

13. 根据权利要求9所述的媒体，进一步包括传送通知，所述通知包括：

用于基于所述历史上的浏览历史和所述附加的历史上的浏览历史来爬取所述web站点的一个或多个峰值时间帧，

用于基于所述历史上的浏览历史和所述附加的历史上的浏览历史来爬取所述web站点的非峰值时间帧，以及

对用于在所述峰值或非峰值时间帧期间以一个或多个速率来爬取所述web站点的批准的请求。