[发明专利]基于静态网站的数据爬取及事件分析方法及系统

权利要求书

1.一种基于静态网站的数据爬取及事件分析方法，其特征在于，具体包括以下步骤：

设定爬取的静态网站的类型，并选定所述类型的静态网站；

根据所述静态网站，通过静态网页爬虫技术，爬取静态数据；

对爬取数据进行预处理，按照标签进行整理，得到爬取数据库；

根据所述爬取数据库进行特定事件检测，并对事件进行追踪，形成事件集。

2.根据权利要求1所述的数据爬取及事件分析方法，其特征在于，所述根据所述静态网站，通过静态网页爬虫技术，爬取静态数据，具体通过网页分割技术以及搜索算法爬取静态数据。

3.根据权利要求1或2所述的数据爬取及事件分析方法，其特征在于，所述特定事件检测具体包括:通过分词、特征提取、特征降维以及文本聚类从所述爬取数据库中检测出所述特定事件的数据。

4.根据权利要求1所述的数据爬取及事件分析方法，其特征在于，所述根据所述静态网站，通过静态网页爬虫技术，爬取静态数据，具体包括：

基于网页分割和搜索算法生成爬虫规则；

根据所述爬虫规则，从所述静态网站爬取静态数据。

5.根据权利要求1所述的数据爬取及事件分析方法，其特征在于，所述基于网页分割和搜索算法生成爬虫规则，具体包括：

使用爬虫技术爬取网页地址对应网页页面的源码；

根据所述网页页面的源码，使用广度优先搜索算法，找到页面中所有的项；

根据所述项，使用网页分割算法将页面中所有结构相同的项合并成一个分块；

使用图像处理技术，将分块进行标记，选择分块并定义输入参数信息，生成服务信息和爬虫规则信息；所述爬虫规则信息包括对应服务调用的地址和查询参数。

6.根据权利要求1所述的数据爬取及事件分析方法，其特征在于，所述对爬取数据进行预处理，按照标签进行整理，得到爬取数据库之后，还包括：

对爬取数据进行有害信息监测和标记。

7.根据权利要求1所述的数据爬取及事件分析方法，其特征在于，所述根据所述爬取数据库进行特定事件检测，并对事件进行追踪，形成事件集，具体包括：

根据所述爬取数据库，确定需要分析的特定事件，得到初始的特定事件数据；

根据所述特定事件数据，进行数据预处理，并存储于文档数据库；

根据所述文档数据库，对所述特定事件进行排序，形成新闻文档；

使用带时间窗口的Single-Pass算法，对所述新闻文档进行聚类分析，形成事件集。

8.一种基于静态网站的数据爬取及事件分析系统，其特征在于，具体包括：

静态网站选定模块：用于设定爬取的静态网站的类型，并选定所述类型的静态网站；

爬取模块：用于根据所述静态网站，通过静态网页爬虫技术，爬取静态数据；

数据库模块：用于对爬取数据进行预处理，按照标签进行整理，得到爬取数据库；

事件集模块：用于根据所述爬取数据库进行特定事件检测，并对事件进行追踪，形成事件集。

9.一种基于静态网站的数据爬取及事件分析设备，其特征在于，包括：

存储器：用于存储可执行指令；以及

处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-7中任一项所述的基于静态网站的数据爬取及事件分析方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-7任一项所述的基于静态网站的数据爬取及事件分析方法。