[发明专利]网站数据爬取方法、装置、计算机设备及可读存储介质

权利要求书

1.一种网站数据爬取方法，其特征在于，所述方法包括：

获取待爬取网站数据的数据标识和产生日期；

获取本地存储的与所述数据标识对应的网站数据的产生日期；

当所述待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则通过第一线程爬取产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

实时输出所爬取的产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

通过第二线程将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较；

当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则确定待爬取网站数据所属的网站未改变，以及确定本地存储的网站数据为有效数据，并输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式不相同时，则继续爬取产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据；

输出所爬取的产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当存在产生日期在本地存储的网站数据的产生日期之后的待爬取网站数据时，则继续爬取产生日期在本地存储的网站数据的产生日期之后的待爬取网站数据；

输出所爬取的产生日期在本地存储的网站数据的产生日期之后待爬取网站数据。

4.根据权利要求2所述的方法，其特征在于，所述继续爬取产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据的步骤，包括：

当与本地存储的网站数据的产生日期相同的待爬取网站数据的产生日期大于预设长度时，则依次分段爬取与本地存储的网站数据的产生日期相同的所述待爬取网站数据；

分段输出所爬取的与本地存储的网站数据的产生日期相同的待爬取网站数据。

5.根据权利要求1所述的方法，其特征在于，所述将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较的步骤，包括：

将所爬取的待爬取网站数据的字段与本地存储的网站数据的字段进行匹配；

当所爬取的待爬取网站数据的字段与本地存储的网站数据的字段相匹配时，则所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同；

当所爬取的待爬取网站数据的字段与本地存储的网站数据的字段不匹配时，则所爬取的待爬取网站数据的格式与本地存储的网站数据的格式不相同。

6.一种网站数据爬取装置，其特征在于，所述装置包括：

获取模块，用于获取待爬取网站数据的数据标识和产生日期；获取本地存储的与所述数据标识对应的网站数据的产生日期；

爬取模块，用于当所述待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则通过第一线程爬取产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

第一输出模块，用于实时输出所爬取的产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；

比较模块，用于通过第二线程将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较；

第二输出模块，用于当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则确定待爬取网站数据所属的网站未改变，以及确定本地存储的网站数据为有效数据，并输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。

7.根据权利要求6所述的装置，其特征在于，所述爬取模块还用于当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式不相同时，则继续爬取产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据；

所述第一输出模块还用于输出所爬取的产生日期与本地存储的网站数据的产生日期相同的待爬取网站数据。