[发明专利]数据获取、分析以及预警系统及其方法

权利要求书

1.一种数据获取、分析以及预警系统，包括：

参数设定模块，用于根据数据规划表对爬虫的参数进行设定，其中，所述参数设定模块还用于设定权限参数，所述数据规划表包括地区与相应地区的任务；

判断模块，用于判断所述爬虫是否有权限；

输出模块，在所述爬虫有权限时获取所述爬虫输出的数据以及状态信息，其中，所述判断模块还用于判断所述爬虫是否运行正常；

存储器，用于在所述爬虫运行正常时对输出的数据进行存储与备份；

学习模块，用于学习所获取到的数据来建立时间序列模型；

计算模块，用于根据所述时间序列模型进行时间计算与阈值计算，其中，参数设定模块还用于设定预警阈值空间与预警级别，且所述预警阈值空间包括地区、数量的上限以及下限，所述输出模块还用于获取当前时间段的实际数据数量，所述判断模块还用于判断所述实际数据的数量是否超出所述预警阈值空间；

启动模块，用于在所述实际数据的数量超出所述预警阈值空间时相应的预警级别的预警；

处理器，用于对数据进行追踪与分析处理，形成预警记录。

2.如权利要求1所述的数据获取、分析以及预警系统，其特征在于，所述参数设定模块还用于在所述爬虫没有权限时更换权限密钥，并根据所述权限密钥进行设定权限参数。

3.如权利要求1所述的数据获取、分析以及预警系统，其特征在于，还包括提取模块，用于提取所述数据中的时间戳，其中，判断模块还用于判断是否需要翻页，所述参数设定模块还用于在需要翻页时修改时间标识，根据所述时间标识对参数进行重建，并根据所述数据规划表以及重建的参数进行参数设定。

4.如权利要求3所述的数据获取、分析以及预警系统，其特征在于，所述参数设定模块在不需要翻页时暂停爬虫，并将时间标识设为当前时间，根据所述时间标识对参数进行重建，并根据所述数据规划表以及重建的参数进行参数设定。

5.如权利要求1所述的数据获取、分析以及预警系统，其特征在于，所述处理器还用于在所述爬虫运行不正常时停止爬虫的运行，对爬虫进行错误研判，并删除所述爬虫。

6.如权利要求1所述的数据获取、分析以及预警系统，其特征在于，所述处理器还用于在所述实际数据的数量没有超出所述预警阈值空间时形成数据记录。

7.一种数据获取、分析以及预警的方法，包括：

根据数据规划表对爬虫的参数进行设定，其中所述数据规划表包括地区与相应地区的任务；

设定爬虫的权限参数；

判断所述爬虫是否有权限；

若所述爬虫有权限，则获取所述爬虫输出的数据以及状态信息；

根据状态信息判断所述爬虫是否运行正常；

若所述爬虫运行正常，则对输出的数据进行存储与备份；

学习所获取到的数据来建立时间序列模型；

根据所述时间序列模型进行时间计算与阈值计算；

根据所述时间计算与所述阈值计算的结果设定预警阈值空间与预警级别，其中所述预警阈值空间包括地区、数量的上限以及下限；

获取实际数据的数量；

判断所述实际数据的数量是否超出所述预警阈值空间，其中所述；

若所述实际数据的数量超出所述预警阈值空间，则启动相应的预警级别的预警；

对数据进行追踪与分析处理，形成预警记录。

8.如权利要求7所述的方法，其特征在于，所述方法还包括以下步骤：

若所述爬虫没有权限，则更换权限密钥；

根据权限密钥进行设定权限参数。

9.如权利要求7所述的方法，其特征在于，所述方法还包括以下步骤：

提取所述数据中的时间戳；

判断是否需要翻页；

若需要翻页，则修改时间标识；

对参数进行重建；

根据所述数据规划表以及重建的参数进行参数设定。

10.如权利要求9所述的方法，其特征在于，所述方法还包括以下步骤：

若不需要翻页，则暂停爬虫，并将时间标识设为当前时间；

对参数进行重建；

根据所述数据规划表以及重建的参数进行参数设定。