[发明专利]数据获取、分析以及预警系统及其方法

说明书

技术领域

本发明涉及社交网络技术，尤其涉及一种数据获取、分析以及预警系统及其方法。

背景技术

随着Web2.0时代的到来，互联网涌现出了大量社会化媒体应用（人人网，Facebook，twitter，微博等），因此，社会化媒体数据研究受到了越来越多研究人员的关注。出现了社区发现研究，信息传播的研究，社会网络应用研究等。这些研究对于信息传播，信息安全，社区挖掘，知识发现，舆情监督，专家查找，商业分析，市场拓展等方面越来越发挥重要的作用。

社会化媒体应用的特点是开放和合作。例如微博、社交性网站等，纷纷给出了自己的开放平台，让第三方应用进入到自己的开放平台中。同时，也诞生了一种新的数据获取方式——通过开放平台的API接口进行数据的获取。现有的微博获取方式步骤主要包括：（1）获取权限的验证；（2）基于API函数确定参数；（3）数据的获取并存储；（4）数据分析。

当前，微博数据的分析主要包括：话题以及突发事件的发现与预测，信息的传播以及信息的查找以及语义情感倾向的研究等方面。

当前在微博数据获取方面，还存在着一些技术上的缺点主要包括：

1、由于对微博数据没有实时性的要求，因此，微博获取的实时性比较差。

2、由于微博数据在不同地区短时间内，出现的数据量比较巨大，因此，单一的获取，不仅效率低下，而且还容易出现数据丢失的现象。

在微博数据分析方面，也存在着一些技术上的缺点，主要体现在：当前对微博内容分析的工作，其重点在于研究微博话题的发现、突发事件的检测、新词的发现等，因此缺少对微博不同地区的实时在线数据量的分析和预测。

此外，对于微博数据量的分析和预测以及实时在线监控，还缺少一种自适应性的预警机制来为不同地区，不同时段的微博数据量进行监控，从而提供更加科学，更加准确的方法。

发明内容

有鉴于此，有必要提供一种数据获取、分析以及预警系统及其方法。

本发明提供的一种数据获取、分析以及预警系统，包括：参数设定模块、判断模块、输出模块、学习模块、计算模块、启动模块、存储器以及处理器。其中，参数设定模块，用于根据数据规划表对爬虫的参数进行设定，其中，所述参数设定模块还用于设定权限参数，所述数据规划表包括地区与相应地区的任务；判断模块，用于判断所述爬虫是否有权限；输出模块，在所述爬虫有权限时获取所述爬虫输出的数据以及状态信息，其中，所述判断模块还用于判断所述爬虫是否运行正常；存储器，用于在所述爬虫运行正常时对输出的数据进行存储与备份；学习模块，用于学习所获取到的数据来建立时间序列模型；计算模块，用于根据所述时间序列模型进行时间计算与阈值计算，其中，参数设定模块还用于设定预警阈值空间与预警级别，且所述预警阈值空间包括地区、数量的上限以及下限，所述输出模块还用于获取当前时间段的实际数据数量，所述判断模块还用于判断所述实际数据的数量是否超出所述预警阈值空间；启动模块，用于在所述实际数据的数量超出所述预警阈值空间时相应的预警级别的预警；处理器，用于对数据进行追踪与分析处理，形成预警记录。

本发明还提供数据获取、分析以及预警的方法，包括：根据数据规划表对爬虫的参数进行设定，其中所述数据规划表包括地区与相应地区的任务；设定爬虫的权限参数；判断所述爬虫是否有权限；若所述爬虫有权限，则获取所述爬虫输出的数据以及状态信息；根据状态信息判断所述爬虫是否运行正常；若所述爬虫运行正常，则对输出的数据进行存储与备份；学习所获取到的数据来建立时间序列模型；根据所述时间序列模型进行时间计算与阈值计算；根据所述时间计算与所述阈值计算的结果设定预警阈值空间与预警级别，其中所述预警阈值空间包括地区、数量的上限以及下限；获取实际数据的数量；判断所述实际数据的数量是否超出所述预警阈值空间；若所述实际数据的数量超出所述预警阈值空间，则启动相应的预警级别的预警；对数据进行追踪与分析处理，形成预警记录。

本发明中的数据获取、分析以及预警系统及其方法实现了实时并行获取不同地区的数据，通过学习数据建立时间序列模型，利用时间序列模型设定预警阈值空间以及预警等级，在预警发出后，能对数据进行快速的追踪与分析，解决了不同时段、不同地区数据监控的问题，同时，本发明基于最新的数据预测和时间空间因素构建自适应性预警机制，及时更新预警阈值和预警级别，保证预警结果的准确性和可靠性。

附图说明

图1为本发明一实施方式中数据获取、分析以及预警系统的模块图；

图2为本发明一实施方式中利用图1所示的数据获取、分析以及预警系统进行数据获取、分析的方法的流程图；