[发明专利]爬虫调度方法、装置、终端设备和可读存储介质

说明书

本发明实施例公开了爬虫调度方法、装置、终端设备和可读存储介质，该方法包括在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间；根据目标网页的更新情况确定爬虫下次调度的映射时间间隔；根据当前映射时间和映射时间间隔确定爬虫下次调度的下次调度映射时间；将下次调度映射时间映射至实际时间轴上以确定对应的下次调度实际时间；根据下次调度实际时间调度爬虫。本实施例的技术方案通过更新距离映射时间轴与实际时间轴之间的映射关系，将爬虫的调度时间与网页更新速度之间的关系进行量化，有效避免爬虫资源过度浪费，保证对网页更新的数据进行及时的爬取。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种爬虫调度方法、装置、终端设备和可读存储介质。

背景技术

现有爬虫任务调度系统，一般都是针对每个网页设定一个固定调度频率，由调度系统设置的定时任务根据每个网站设定的固定频率来做调度采集。但是，对于更新频率不高的网页，以固定频率调度爬虫采集数据，导致采集重复率比较高，浪费数据采集资源。

发明内容

鉴于上述问题，本发明提出一种爬虫调度方法、装置、终端设备和可读存储介质。

本发明的一个实施例提出一种爬虫调度方法，该方法包括：

在调度爬虫爬取目标网页的数据时，将当前实际时间映射至预设的更新距离映射时间轴上以确定对应的当前映射时间，所述更新距离映射时间轴预先通过实际时间轴和所述目标网页的更新情况确定；

根据所述目标网页的更新情况确定所述爬虫下次调度的映射时间间隔；

根据所述当前映射时间和所述映射时间间隔确定所述爬虫下次调度的下次调度映射时间；

将所述下次调度映射时间映射至所述实际时间轴上以确定对应的下次调度实际时间；

根据所述下次调度实际时间调度所述爬虫。

上述的爬虫调度方法，所述更新距离映射时间轴通过以下方法预先设置：

将预设周期内的实际时间轴分为预设r个单位实际时间段；

每一单位实际时间段通过预设的映射公式映射至所述更新距离映射时间轴；

所述映射公式如下：

x_i表示第i个单位时间段内新增的有效信息数，X表示所述周期T内新增的有效信息总数，Δp_i表示第i个单位时间段映射至所述更新距离映射时间轴上对应的更新距离映射时间段。

上述的爬虫调度方法，所述当前映射时间根据以下公式计算：

f(p_n)表示所述当前映射时间，p_k和p_k+1分别表示单位实际时间T_k和单位实际时间T_k+1在所述更新距离映射时间轴上的对应更新距离映射时间，T_0～t表示当前实际时间，T_0～t位于单位实际时间T_k和单位实际时间T_k+1范围内。

上述的爬虫调度方法，所述映射时间间隔根据以下公式计算：

Δf(p_n)表示所述映射时间间隔，X_max表示所述爬虫n次爬取中单次最大爬取数目，T_n表示n次爬取总时间，X_m表示n次爬取中第m次爬取到的有效爬取数目，a表示预设的误差参数。

上述的爬虫调度方法，所述下次调度映射时间对应的下次调度实际时间根据以下公式计算：