[发明专利]一种数据抓取及保存方法、装置、计算机设备及存储介质

权利要求书

1.一种数据抓取及保存方法，其特征在于，包括：

在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据；其中，所述多台数据抓取设备抓取数据的数据源至少有一个为相同数据源；

对所述多台数据抓取设备抓取数据的抓取时间进行同步；

将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中；

响应于接收到的数据请求指令，获取对应指定时间的信息；

根据所述指定时间判断是否可从所述数据库中查找到相应的记录；若是，则直接返回所述指定时间对应的记录，若否，则获取与所述指定时间最接近的抓取时间对应的记录并返回和/或获取指定时间的推定数据并返回；

所述在多台数据抓取设备触发数据抓取条件时，抓取数据源中的数据包括：

响应于总控机下发的数据抓取指令时，触发所述数据抓取条件；

根据所述数据抓取指令抓取数据源中的数据；

所述对所述多台数据抓取设备抓取数据的抓取时间进行同步包括：

获取抓取数据时数据源的设备时间，并将所述设备时间作为第一抓取时间，以及将所述第一抓取时间与抓取到的数据对应；当第一抓取时间无法获取时，在与总控机上部署的授时服务器进行校时后，获取抓取数据时的数据抓取设备的设备时间，并将所述设备时间作为第二抓取时间，以及与抓取到的数据对应；

授时过程包括：(1)、客户端将当前时间发送给授时服务器，授时服务器返回此时间与授时服务器自身当前时间的差值至客户端，此差值为第一时间差；(2)、客户端使用所述第一时间差修正自身的时间；(3)、客户将修正后的当前时间发送给授时服务器，授时服务器返回此时间与授时服务器自身当前时间的差值至客户端，此差值为第二时间差；(4)、客户端接收到所述第二时间差后，将所述第二时间差取一半，并将使用所述第二时间差的一半再次修正自身的时间，并将修正后的当前时间再发送给授时服务器，授时服务器依旧只返回此时间与授时服务器自身当前时间的差值至客户端，此差值为第三时间差；(5)、客户端接收到所述第三时间差后，继续对所述第三时间差取一半，并将所述第三时间差的一半再次修正自身的时间，并修正后的当前时间再发送给授时服务器，授时服务器也依旧只返回此时间与授时服务器自身当前时间的差值至客户端，此差值为第四时间差；重复步骤(4)和(5)，在重复次数达到预定数量，并且时间差收敛到预定时间差范围后，完成授时操作。

2.根据权利要求1所述的数据抓取及保存方法，其特征在于，所述将所述多台数据抓取设备抓取的数据以及对应的抓取时间以记录的形式保存至数据库中包括：

判断所述数据库是否处于可保存状态；

若是，则将抓取到的数据以及对应的抓取时间以记录的形式保存至数据库中；

若否，则将所抓取到的数据暂存至相应数据抓取设备本地，以在需要时将暂存的数据以及对应的抓取时间以记录的形式恢复保存至数据库中。

3.根据权利要求1所述数据抓取及保存方法，其特征在于，所述获取与所述指定时间最接近的抓取时间对应的记录并返回包括：

从数据库中获取不晚于所述指定时间且最接近所述指定时间的抓取时间，将所述抓取时间对应的记录作为所述指定时间对应的记录并返回。

4.根据权利要求1所述数据抓取及保存方法，其特征在于，所述获取指定时间的推定数据并返回包括：

根据连续性规律获取所述指定时间的推定数据，并将所述推定数据以及所述指定时间以记录的形式返回。

5.根据权利要求4所述数据抓取及保存方法，其特征在于，所述根据连续性规律获取所述指定时间的推定数据包括：

获取所述指定时间前和/或后的预定时间段的数据；

根据所述数据在预定时间段内的连续变化关系，获取所述指定时间的推定数据。