[发明专利]网站数据爬取方法、装置、计算机设备及可读存储介质

摘要

本发明涉及一种网站数据爬取方法、装置、计算机设备及可读存储介质，该方法包括获取待爬取网站数据的数据标识和产生日期；获取本地存储的与数据标识对应的网站数据的产生日期；当待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取并输出产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。上述的网站数据爬取方法、装置、计算机设备及可读存储介质，可以直接输出本地存储的网站数据，减少爬取的数据量，从而可以提高爬取数据的输出显示速度。

主权项

一种网站数据爬取方法，其特征在于，所述方法包括：获取待爬取网站数据的数据标识和产生日期；获取本地存储的与所述数据标识对应的网站数据的产生日期；当所述待爬取网站数据的产生日期与本地存储的网站数据的产生日期不同时，则爬取产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；输出所爬取的产生日期在本地存储的网站数据的产生日期之前的待爬取网站数据；将所爬取的待爬取网站数据的格式与本地存储的网站数据的格式进行比较；当所爬取的待爬取网站数据的格式与本地存储的网站数据的格式相同时，则输出本地存储的产生日期与所述待爬取网站数据的产生日期相同的网站数据。