[发明专利]网页抓取的方法及设备

权利要求书

1.一种网页抓取的方法，包括：

根据抓取目标网站的任务流量获取在所述目标网站上进行网页抓取的动态流量配额值，所述动态流量配额值为爬虫程序执行抓取任务时，在单位时间内对同一网站的进行抓取的流量的限额，所述动态流量配额值的配置基于目标网站内目标网页的质量分布或者基于目标网站内目标网页的质量分布和所述目标网站的受访问数据确定；

根据所述动态流量配额值，对所述目标网站上的网页进行抓取。

2.如权利要求1所述的方法，所述获取在所述目标网站上进行网页抓取的动态流量配额值，包括：

获取所述目标网站的受访问数据；

根据所述受访问数据，确定所述目标网站的抓取承受流量；

获取所述目标网站内网页的网页质量分布；

根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量；

根据所述目标网站的抓取承受流量，以及所述抓取目标网站的任务流量，确定在所述目标网站上进行网页抓取的动态流量配额值。

3.如权利要求2所述的方法，所述获取所述目标网站的受访问数据，包括：

根据搜索引擎对所述目标网站的访问统计数据，确定所述目标网站的所述受访问数据。

4.如权利要求3所述的方法，所述根据所述受访问数据，确定所述目标网站的抓取承受流量，包括：

根据所述受访问数据，确定所述目标网站的可承受访问总量；

根据所述可承受访问总量与预置的抓取压力系数，确定所述目标网站的抓取承受流量。

5.如权利要求4所述的方法，所述根据所述受访问数据，确定所述目标网站的可承受访问总量，包括：

根据搜索引擎对所述目标网站的访问统计数据，所述搜索引擎的市场占有率，用户直接访问量，以及网站冗余流量，确定所述目标网站的可承受访问总量。

6.如权利要求5所述的方法，所述获取所述目标网站内网页的网页质量分布，包括：

根据所述目标网站内网页的pagerank，和/或网页的链接深度，确定网页的评分；

对所述目标网站内多个网页的评分进行归一化处理，获得各个网页对应的质量分布。

7.如权利要求6所述的方法，所述获取所述目标网站内网页的网页质量分布，包括：

获取所述目标网站内所有已收录网页的网页质量分布；

所述根据所述目标网站内网页的所述网页质量分布，确定抓取目标网站的任务流量，包括：

获取所述目标网站内所有已收录网页的网页质量分布的总和，根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量。

8.如权利要求7所述的方法，还包括：

获取一个或多个任务比例因子；

所述根据所述目标网站内所有已收录网页的网页质量分布的总和，确定抓取目标网站的任务流量，包括：

根据所述网页质量分布的总和与一个或多个所述任务比例因子的乘积，确定抓取目标网站的任务流量。

9.如权利要求8所述的方法，所述获取一个或多个任务比例因子，包括：

获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例；

和/或，

获取所述目标网站中，不重复的网页数量占所述目标网站中已收录网页总数的比例。

10.如权利要求9所述的方法，所述获取所述目标网站中，待抓取的网页数占所述目标网站中已收录网页总数的比例，包括：

获取所述目标网站中，抓取历史中更新的网页数，和/或，所述目标网站中新产生的网页数，占所述目标网站中已收录网页总数的比例。