[发明专利]网站数据爬取方法、装置、计算机设备及可读存储介质

说明书

本发明涉及一种网站数据爬取方法、装置、计算机设备及可读存储介质，该方法包括获取待爬取网站数据的数据标识和产生日期；获取本地存储的与数据标识对应的网站数据的产生日期；当待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取并输出产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。上述的网站数据爬取方法、装置、计算机设备及可读存储介质，可以直接输出本地存储的网站数据，减少爬取的数据量，从而可以提高爬取数据的输出显示速度。

技术领域

本发明涉及计算机技术领域，特别是涉及一种网站数据爬取方法、装置、计算机设备及可读存储介质。

背景技术

爬取技术是通过URL链接地址获取并分析网页信息，按照提取所有的URL链接地址，然后再通过提取的URL链接地址获取网页信息，循环执行。

传统的爬取技术是一次性将所有的数据全部爬取，且需要即时返回结果，爬取数据量大，爬取时间较长，从而导致爬取数据的输出显示速度较慢。

发明内容

基于此，有必要针对传统技术中爬取数据的输出显示速度较慢的问题，提供一种网站数据爬取方法、装置、计算机设备及可读存储介质。

一种网站数据爬取方法，所述方法包括：

获取待爬取网站数据的数据标识和产生日期；

获取本地存储的与所述数据标识对应的网站数据的产生日期；

当所述待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

输出所爬取的产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较；

当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。

在其中一个实施例中，所述方法还包括：

当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式不相同时，则继续爬取产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据；

输出所爬取的产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据。

在其中一个实施例中，所述方法还包括：

当存在产生日期在本地存储的网站数据的产生日期之后的待爬取网站数据时，则继续爬取产生日期在本地存储的网站数据的产生日期之后的待爬取网站数据；

输出所爬取的产生日期在本地存储的网站数据的产生日期之后待爬取网站数据。

在其中一个实施例中，所述继续爬取产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据的步骤，包括：

当与本地存储的网站数据的产生日期相同的待爬取网站数据的产生日期大于预设长度时，则依次分段爬取与本地存储的网站数据的产生日期相同的所述待爬取网站数据；

分段输出所爬取的与本地存储的网站数据的产生日期相同的待爬取网站数据。

在其中一个实施例中，所述将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较的步骤，包括：

将所爬取的待爬取网站数据的字段与本地存储的网站数据的字段进行匹配；