[发明专利]一种基于大数据的数据采集方法和系统

权利要求书

1.一种基于大数据的数据采集方法，其特征在于，包括以下步骤：

S1：利用网络爬虫抓取待采集的数据源的URL集合，获取所述URL对应的网页；

S2：基于PageRank算法与HITS算法分别计算所述网页的评分，并对计算结果进行加权，获得所述网页的总价值分并按所述总价值分排序；

S3：响应于所述总价值分大于预定的第一阈值，按所述网页的所述总价值分的优先级解析并获取所述网页中的图片和/或文字，基于文本信息抽取方法获取所述网页中包含的关键词；

S4：计算所述关键词与所述关键词对应的网页的相关度，并基于所述相关度向共识节点发送共识请求，响应于所述相关度大于预设的第二阈值且共识程度大于预设的第三阈值，在区块链的分布式网络中多个共识节点分别对所述关键词进行不同的相关度运算，基于拜占庭容错共识机制，当所述共识节点对所述关键词计算的所述相关度大于所述第二阈值的共识结果超过三分之二时，达成共识并将所述关键词写入所述区块链中，所述网页存储至设置于所述区块链的节点上的数据库中，并建立所述网页与所述关键词映射关系。

2.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S1中还包括利用布隆过滤器对所述URL去重。

3.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S2中PageRank算法的计算公式具体为：

其中，PR_j表示第j个网页的PageRank值、N表示网页数、I_i，j是零一变量，若网页i引用了网页j，则其值为1，反之为0、n_i表示网页i中链向其它页面的链接数量、d为衰减因子；HITS算法的计算公式具体为：

其中，网页i的权威度Authority值为A_i，中心度Hub值为H_i，E表示网页j指向网页i的链接，所述PageRank算法和所述HITS算法的权重值相同且均为50％。

4.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S3中的文本信息抽取方法包括基于语言规则模板的信息抽取方法、基于统计方法的信息抽取方法、基于统计机器学习的信息抽取方法和基于图的信息抽取方法。

5.根据权利要求4所述的基于大数据的数据采集方法，其特征在于，所述步骤S3中所述关键词的获取方式具体为：利用所述基于语言规则模板的信息抽取方法、所述基于统计方法的信息抽取方法、所述基于统计机器学习的信息抽取方法和所述基于图的信息抽取方法分别确定所述网页的关键词，并将结果相同的关键词确定为所述网页的关键词，所述基于统计方法的信息抽取方法包括IF-IDF特征计算方法和KF-IDF特征计算方法。

6.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述数据库包括Redis数据库、MongoDB数据库和分布式文件存储系统HDFS中的一个或组合，所述步骤S4还包括将所述网页、所述相关度、所述总价值分及其排序结果存储至所述数据库中。

7.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S4的相关度的具体计算方式为：

其中，R_n＝TF_tn*TR_tn，TF_tn为词项t在当前文本中的词项频率，TR_tn表示t在当前关键词集合中的权重，n为关键词个数。

8.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至7中任一项所述的方法。

9.一种基于大数据的数据采集系统，其特征在于，所述系统包括：

网页获取单元：配置用于利用网络爬虫抓取待采集的数据源的URL链接集合，获取所述URL对应的网页；

评估单元：配置用于基于PageRank算法与HITS算法分别计算所述网页的评分，并对计算结果进行加权，获得所述网页的总价值分并按所述总价值分排序；

文本识别单元：配置用于响应于所述总价值分大于预定的第一阈值，按所述网页的所述总价值分的优先级解析并获取所述网页中的图片和/或文字，基于文本信息抽取方法获取所述网页中包含的关键词；

数据映射单元：配置用于计算所述关键词与所述关键词对应的网页的相关度，并基于所述相关度向共识节点发送共识请求，响应于所述相关度大于预设的第二阈值且共识程度大于预设的第三阈值，在区块链的分布式网络中多个共识节点分别对所述关键词进行不同的相关度运算，基于拜占庭容错共识机制，当所述共识节点对所述关键词计算的所述相关度大于所述第二阈值的共识结果超过三分之二时，达成共识并将所述关键词写入所述区块链中，所述网页存储至设置于所述区块链的节点上的数据库中，并建立所述网页与所述关键词映射关系。