[发明专利]一种大数据网页存储和分析的方法

权利要求书

1.一种大数据网页存储和分析的方法，其特征在于，具有以下步骤：

S1、将待分析的网页数据按网站站点划分存储在HDFS文件中，采用Hive表关联此HDFS数据；

S2、采用Spark程序读取步骤S1存储在Hive表中的数据，关联预先提供的对文本数据进行分词的程序包，对网页内容进行分词分析，提取出企业名称信息，并将企业名称相关信息存储到Hive表中。

S3、将真实的企业名册上传至HDFS目录，采用Spark程序读取企业名册中的数据，并关联预先提供的分词程序包，对每个企业名称进行分词处理，并将分词结果存储在Hive表中；

S4、采用Spark程序，关联查询步骤S2和步骤S3的处理结果表，对步骤S2中得到的企业名称，依据步骤S3的真实企业名称分词结果表进行分类匹配，计算匹配度，并将计算结果存储到HBase表；

S5、上层应用用于查询HBase表中的数据，为用户提供步骤S1中网页内容中出现的企业名称和真实企业名册中的企业名称中匹配度高的企业名称，用于后续的分析提供信息。

2.根据权利要求1所述的一种大数据网页存储和分析的方法，其特征在于，在步骤S1中，分析站点net1和站点net2中面向企业评价的数据时，可创建HDFS文件/mysite/net1.csv来存储站点net1的信息，创建HDFS文件/mysite/net2.csv来存储站点net2的信息，存储文件格式为csv格式。

3.根据权利要求2所述的一种大数据网页存储和分析的方法，其特征在于，CSV文件中包含pageid、comurl、site、cominfo、dt，其中，所述pageid中存储网页唯一标识，comurl中存储网页地址，site中存储网站地址，cominfo中存储网页内容，dt中存储日期信息。

4.根据权利要求1所述的一种大数据网页存储和分析的方法，其特征在于，在步骤S2中，采用Spark程序，Spark直接使用Hive的元数据；

编写Spark程序，读取存放网页数据的Hive表，加载对文本数据进行分词的程序包，采用Spark对数据进行分片，然后，关联对文本数据进行分词的程序包对cominfo的数据进行分词处理，将分词处理后的结果数据存储到Hive表。

5.根据权利要求4所述的一种大数据网页存储和分析的方法，其特征在于，在步骤S2中，在Hive表中，pageid中存储网页唯一标识，comurl中存储网页地址，site中存储网站地址，virorgname存储上述分词得到的企业名称，sidx存储上述分词得到的企业名称在网页内容cominfo中的起始位置索引，eidx存储上述分词得到的企业名称在网页内容cominfo中的结束位置索引，dt中存储日期信息。

6.根据权利要求1所述的一种大数据网页存储和分析的方法，其特征在于，在步骤S3中，预先设置企业名册，所述企业名册中包含真实的企业名称信息，将企业名称信息进行分词并存储到Hive表中。

7.根据权利要求6所述的一种大数据网页存储和分析分方法，其特征在于，企业名册数据存储为CSV格式，一列存储企业ID，一列存储企业名称，将该企业名册文件上传到HDFS目录/myorg/rcom，创建Hive表关联此文件。

8.根据权利要求1所述的一种大数据网页存储和分析的方法，其特征在于，在步骤S4中，采用Spark程序读取此Hive表，加载预先提供的分词程序包，对orgname对应的企业名称进行分词处理，分词结果存储到Hive表中。