[发明专利]一种基于Scalable Web Crawler的数据分析方法

说明书

本发明提出了一种基于Scalable Web Crawler的数据分析方法，结合Scalable Web Crawler工具和分布式数据遍历手段，提取web上的有效数据，并通过数据分析模块进行整合分析，最终形成一份可读性的材料。

技术领域

本发明属于计算机数据处理技术领域，具体地说，涉及一种基于Scalable WebCrawler的数据分析方法。

背景技术

数据提取和分析是指通过人工或者自动化的手段收集数据，并通过统计学或者数据分析学中的方法对收集的数据进行整合分析。随着社会和科技的发展越来越快，海量的数据充斥着人们的日常生活，因此对这些数据进行脏数据过滤，有效信息的提取越来越被人们的日常生活所需要。

发明内容

本发明针对现有技术的上述需求，提出了一种基于Scalable Web Crawler的数据分析方法，结合Scalable Web Crawler工具和分布式数据遍历手段，提取web上的有效数据，并通过数据分析模块进行整合分析，最终形成一份可读性的材料。

本发明具体实现内容如下：

本发明提出了一种基于Scalable Web Crawler的数据分析方法，用于对输入的WEB页面数据进行分析处理，整理得到可读性更好的文本数据文件，具体包括以下步骤：

步骤1：输入统一资源定位符URL；

步骤2：通过Scalable Web Crawler爬虫技术对输入的WEB页面数据进行文本数据提取；

步骤3：将提取的文本数据以数据表的形式存入数据库中；

步骤4：将数据表形式的文本数据从数据库中拉取出，并送入到数据分析模块中，以分布式的方式对每张数据表进行遍历；所述数据分析模块采用基于Storm框架的数据分析工具；

步骤5：根据遍历结果生成可读性更好的文本数据文件。

为了更好地实现本发明，进一步地，所述步骤4中的具体遍历操作分为依次进行的三次遍历，其中：

在第一次遍历时：使用数据分析模块同时从数据库中拉取多张数据表，并对每一张数据表都进行分布式遍历解析；然后数据遍历后的一次遍历数据过滤表、数据节点和数据归类框架，所述数据归类框架的主体结构由数据节点构成。

为了更好地实现本发明，进一步地，在第二次遍历时，将第一次遍历后得到的一次遍历数据过滤表作为新的数据源开始第二次数据遍历，而且在第二次遍历的过程中，使用数据分析模块根据数据归类框架的构成，将数据输入到数据归类框架中，得到二次遍历数据过滤表并输出。

为了更好地实现本发明，进一步地，在第三次遍历时，将二次遍历数据过滤表作为新的数据源进行第三次数据遍历，采用数据分析模块将二次遍历数据过滤表中的数据和数据归类框架中的数据进行对比，对二次遍历数据过滤表中的数据进行校正，形成三次遍历数据过滤表，所述三次遍历数据过滤表为最终的可读性更好的文本数据文件。

为了更好地实现本发明，进一步地，所述步骤3中，将提取的文本数据以编号+内容的方式并以数据表的形式存入数据库中。

为了更好地实现本发明，进一步地，在对数据进行三次遍历的过程中，每一次遍历都采用先序遍历的方式，从第一个数据内容开始依次对数据进行遍历，直到数据表中的所有数据都被遍历一遍。

为了更好地实现本发明，进一步地，在进行遍历的同时，还要进行数据清洗，所述数据清洗包括以下步骤：

步骤一：无效数据清理：在数据分析模块中内置无效信息过滤表；在遍历过程中，使用数据分析模块将数据表中的内容和内置的无效信息过滤表中的数据进行对比；当数据进行比对的重合度达到90%以上时，将数据表中被比对的数据内容判定为无效数据，并将无效数据直接丢弃，不存储在遍历后的一次遍历数据过滤表/二次遍历数据过滤表/三次遍历数据过滤表中。