[发明专利]一种大数据网页存储和分析的方法

说明书

本发明涉及大数据技术领域，具体提供了一种大数据网页存储和分析的方法，具有以下步骤：S1、将待分析的网页数据按网站站点划分存储在HDFS文件中，采用Hive表关联此HDFS数据；S2、采用Spark程序读取步骤S1存储在Hive表中的数据，提取出企业名称信息，并将企业名称相关信息存储到Hive表中；S3、对每个企业名称进行分词处理，并将分词结果存储在Hive表中；S4、依据步骤S3的真实企业名称分词结果表进行分类匹配；S5、为用户提供步骤S1中网页内容中出现的企业名称和真实企业名册中的企业名称中匹配度高的企业名称。与现有技术相比，本发明具有广泛适用性，支持水平扩展，对于涉及网页存储和分析的业务都可以普遍适用。

技术领域

本发明涉及大数据技术领域，具体提供一种大数据网页存储和分析的方法。

背景技术

在信息化时代，广大互联网用户都可以通过各个平台发表对企业的评价，企业想从这些评价中得到互联网用户对企业的认可度。实际上，互联网用户针对企业的评价五花八门，大多评价是文本信息、口语化的语言描述，并且网络信息复杂且庞大，要从中分析出企业想要的信息，从架构上来说非常困难。

传统的关系数据库可以存储有限的网页数据，单台机器的应有可以支持有限的网页数据分析，随着数据越来越庞大，这些存储和分析架构及能力远远不足以支持广大互联网数据的存储和分析。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的大数据网页存储和分析的方法。

本发明解决其技术问题所采用的技术方案是：

一种大数据网页存储和分析的方法，具有以下步骤：

S1、将待分析的网页数据按网站站点划分存储在HDFS文件中，采用Hive表关联此HDFS数据；

S2、采用Spark程序读取步骤S1存储在Hive表中的数据，关联预先提供的对文本数据进行分词的程序包，对网页内容进行分词分析，提取出企业名称信息，并将企业名称相关信息存储到Hive表中。

S3、将真实的企业名册上传至HDFS目录，采用Spark程序读取企业名册中的数据，并关联预先提供的分词程序包，对每个企业名称进行分词处理，并将分词结果存储在Hive表中；

S4、采用Spark程序，关联查询步骤S2和步骤S3的处理结果表，对步骤S2中得到的企业名称，依据步骤S3的真实企业名称分词结果表进行分类匹配，计算匹配度，并将计算结果存储到HBase表；

S5、上层应用用于查询HBase表中的数据，为用户提供步骤S1中网页内容中出现的企业名称和真实企业名册中的企业名称中匹配度高的企业名称，用于后续的分析提供信息。

进一步的,在步骤S1中，分析站点net1和站点net2中面向企业评价的数据时，可创建HDFS文件/mysite/net1.csv来存储站点net1的信息，创建HDFS文件/mysite/net2.csv来存储站点net2的信息，存储文件格式为csv格式。

作为优选,CSV文件中包含pageid、comurl、site、cominfo、dt，其中，所述pageid中存储网页唯一标识，comurl中存储网页地址，site中存储网站地址，cominfo中存储网页内容，dt中存储日期信息。

进一步的,在步骤S2中，采用Spark程序，Spark直接使用Hive的元数据；

编写Spark程序，读取存放网页数据的Hive表，加载对文本数据进行分词的程序包，采用Spark对数据进行分片，然后，关联对文本数据进行分词的程序包对cominfo的数据进行分词处理，将分词处理后的结果数据存储到Hive表。