[发明专利]一种分布式垂直爬虫方法及终端设备

权利要求书

1.一种分布式垂直爬虫方法，其特征在于：包括以下步骤：

A、首先数据抓取单元中网络爬虫爬取网页资源数据；

B、之后对抓取的网页资源数据进行预处理；

C、将预处理后的网页资源数据进行分类，得到分类后的数据；

D、将分类后的数据传输至数据分析单元进行数据分析；

E、分析后的数据传输至存储单元中进行加密存储；

F、最后将加密存储后的数据传输至后台监控终端。

2.根据权利要求1所述的一种分布式垂直爬虫方法，其特征在于：所述步骤A中网络爬虫爬取方法如下：

a、首先调度中心下发任务，一个任务中包括一个URL；根据任务在云端创建多个爬虫节点；

b、下发的任务分配至多个爬虫节点，每个爬虫节点的爬虫按URL抓取网页内容；

c、同时检测多个爬虫节点的运行状态，若检测到当前爬虫节点出现错误，则自动将任务下发至下一爬虫节点；

d、之后解析器解析抓取的网页内容，同时解析网页中的链接，在本地先用布隆过滤器进行去重；

e、最后收集多个爬虫节点发出的信息，该信息即为爬取的网页信息。

3.根据权利要求1所述的一种分布式垂直爬虫方法，其特征在于：所述步骤B中数据预处理方法如下：

a、对抓取的数据进行识别，得到噪声数据；

b、计算当前噪声数据的预设时间段前的平均值；

c、使用平均值取代噪声数据中的当前噪声值。

4.根据权利要求1所述的一种分布式垂直爬虫方法，其特征在于：所述步骤C中数据分类方法如下：

a、将网页资源数据压缩成数据样本，并对压缩后的数据样本进行等分，分成多个子数据集；

b、基于Adaboost算法使用多个弱分类器对多个子数据集进行训练；

c、对训练后的子数据集执行多次RIPPER分类，每次RIPPER分类后根据分类结果对子数据集中特征属性再次进行筛选，将筛选后子数据集样本重新进行RIPPER分类，得到最终的训练子数据集；

d、根据数据属性，对训练子数据集进行分类，输出分类结果。

5.一种分布式垂直爬虫终端设备，其特征在于：包括网页抓取单元(1)、数据预处理单元(2)、数据分类单元(3)、数据传输单元(4)、数据分析单元(5)和存储单元(6)，所述网页抓取单元(1)连接数据预处理单元(2)，所述数据预处理单元(2)连接数据分类单元(3)，所述数据分类单元(3)通过数据传输单元(7)连接数据分析单元(5)，所述数据分析单元(5)连接存储单元(6)，所述存储单元(6)通过安全传输网络(8)连接监控终端(9)，其中，所述网页抓取单元抓取网页资源数据信息；所述数据预处理单元用于对抓取的网页资源数据进行清洗操作；所述数据分类单元用于对清洗后的数据进行分类；所述数据分析单元用于分析分类后的数据，所述存储单元用于加密存储分析后的数据。