[发明专利]一种数据抓取及保存方法、装置、计算机设备及存储介质

摘要

本发明公开了一种数据抓取及保存方法、装置、计算机设备及存储介质，所述数据抓取及保存方法包括在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；对所述多台数据抓取设备抓取数据的抓取时间进行同步；将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；响应于接收到的数据请求指令，返回所述指定时间对应的记录，或者，获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。该方法能够避免出现数据丢失的状况，实现连续、稳定地抓取和保存数据以及对齐数据。

主权项

1.一种数据抓取及保存方法，其特征在于，包括：在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；对所述多台数据抓取设备抓取数据的抓取时间进行同步；将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；响应于接收到的数据请求指令，获取对应指定时间的信息；根据所述指定时间判断是否可从所述数据库中查找到相应的记录；若是，则直接返回所述指定时间对应的记录，若否，则获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回。