[发明专利]一种数据抓取方法及装置

权利要求书

1.一种数据抓取方法，其特征在于，包括：

基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；

基于所述调度时间对所述任务进行管理；

在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取；

其中，所述基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间，包括：

基于用户访问互联网的行为，建立网络爬虫对目标网站服务器进行抓取数据的任务的泊松过程模型；

基于所述泊松过程模型，生成所述任务对应的调度时间；

其中，所述基于所述泊松过程模型，生成所述任务对应的调度时间，包括：

通过所述泊松过程模型，生成所述网络爬虫对所述目标网站服务器进行访问的两条任务间的服从指数分布的时间间隔；

在初始化时间点之后，生成所述网络爬虫对所述目标网站服务器进行抓取数据的任务的调度时间。

2.如权利要求1所述的方法，其特征在于，所述基于所述调度时间对所述任务进行管理，包括：

建立包括待抓取队列、结果队列和等待队列的至少三个工作队列；

当系统的当前时间到达所述任务对应的调度时间时，从所述待抓取队列中提取所述网络爬虫需在当前时刻进行抓取的第一链接地址集；

在所述网络爬虫抓取所述第一链接地址集之后，将抓取过程中提取到的子链接地址集插入所述结果队列，且将所述网络爬虫尚未抓取且等待调度的第二链接地址集插入所述等待队列，其中，所述结果队列还包括与所述子链接地址集对应的服务器地址集，每个子链接地址对应一个服务器地址，所述等待队列还包括与所述第二链接地址集对应的调度时间集，每个第二链接地址对应一个调度时间。

3.如权利要求2所述的方法，其特征在于，所述基于所述调度时间对所述任务进行管理，包括：

获取所述待抓取队列的队列长度；

若所述队列长度小于一预设调度阈值，将所述等待队列的每个链接地址根据优先级由小到大插入所述待抓取队列，获得更新后的待抓取队列。

4.如权利要求2所述的方法，其特征在于，所述基于所述调度时间对所述任务进行管理，包括：

在接收到所述等待队列的更新请求时，将所述结果队列的每个子链接地址基于对应的服务器地址按照第一预设规则插入所述等待队列，并将确定的每个子链接地址对应的调度时间相应的插入所述等待队列，获得更新后的等待队列。

5.如权利要求2所述的方法，其特征在于，所述基于所述调度时间对所述任务进行管理，包括：

当所述系统的当前时间到达所述待抓取队列的队头对应的任务的调度时间时，调度队头对应的任务，将队头对应的任务发送给所述网络爬虫，通过所述网络爬虫在所述目标网站服务器中抓取获得第三链接地址集；

将所述第三链接地址集中每个链接地址基于对应的服务器地址按照第二预设规则插入所述结果队列，获得更新后的结果队列。

6.一种数据抓取装置，其特征在于，包括：

生成模块，基于用户访问互联网的行为，生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间；

处理模块，基于所述调度时间对所述任务进行管理；且在将所述任务发送给所述网络爬虫后，通过所述网络爬虫在所述目标网站服务器中进行数据抓取；

其中，所述生成模块用于：

基于用户访问互联网的行为，建立网络爬虫对目标网站服务器进行抓取数据的任务的泊松过程模型；

基于所述泊松过程模型，生成所述任务对应的调度时间；

其中，所述生成模块用于：

通过所述泊松过程模型，生成所述网络爬虫对所述目标网站服务器进行访问的两条任务间的服从指数分布的时间间隔；

在初始化时间点之后，生成所述网络爬虫对所述目标网站服务器进行抓取数据的任务的调度时间。

7.一种计算机装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一权项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一权项所述方法的步骤。