[发明专利]一种基于大数据的数据采集方法和系统

说明书

本发明给出了一种基于大数据的数据采集方法和系统，包括利用网络爬虫抓取待采集的数据源的URL集合，获取URL对应的网页；基于PageRank算法与HITS算法分别计算网页的评分，获得网页的总价值分并按总价值分排序；按网页的总价值分的优先级解析并获取网页中的图片和/或文字，获取网页中包含的关键词；计算关键词与关键词对应的网页的相关度，并基于相关度向共识节点发送共识请求，响应于相关度大于预设的第二阈值且共识程度大于预设的第三阈值，将关键词存储至对应类别的区块链中，网页存储至设置于区块链的节点上的数据库中，并建立网页与关键词映射关系。利用该方法建立关键词与网页的映射，采集到的数据更加的精准且更加具有关联性和共识性。

技术领域

本发明涉及数据采集领域，尤其是一种基于大数据的数据采集方法和系统。

背景技术

随着科学、技术和工程的迅猛发展，近20年来，许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是“无限”的数据，例如，在光学观测和监控等应用中，数据都是源源不断而来的，形成了“数据灾难”)，大数据的概念也随之再次引起重视。与传统的数据相比，除了大容量等表象特点，大数据还具有其他独特的特点，例如大数据通常是无结构的，并且需要得到实时分析，因此大数据的发展需要全新的体系架构，用于处理大规模数据的获取、传输、存储和分析。

大数据的概念自2008年提出以来就受到各行各业的重视。经过近10年的发展，大数据已经从一个模糊的概念逐渐演变为实际生产力。尤其在金融预警、舆情监控以及互联网用户偏好分析等以数据为中心的情报分析领域，其日常的情报活动产生的海量数据，蕴含着该领域的特殊活动规律，这些规律可用于分析相应领域的数据—信息—情报的演化过程中，促进支撑决策的情报产生。因此，利用海量数据挖掘方法，对历史数据和信息进行分析，并以此指导未来的决策活动，已逐渐成为目前各应用领域情报学研究和工作的重点之一。然而，目前大数据虽然已步入实际应用阶段，但情报学界对这一概念的系统性的认识其实并不充分。其具体的定义、构成、核心的方法与技术等在不同的应用场合之间并不确定，还没有形成共识。

本质上，大数据不仅意味着数据的大容量，还体现了一些区别于“海量数据”和“非常大的数据”的特点。随着大数据的流行，大数据的定义呈现多样化的趋势，达成共识非常困难。

发明内容

为了解决现有技术中大数据的多样化导致数据的采集困难、效率低、资源占用率过高以及数据的采集难以达成共识的技术问题，本发明提出了一种基于大数据的数据采集方法和系统，用以解决大数据的采集困难、复杂以及难以达成共识等问题。

在一个方面，本发明提出了一种基于大数据的数据采集方法，包括以下步骤：

S1：利用网络爬虫抓取待采集的数据源的URL集合，获取URL对应的网页；

S2：基于PageRank算法与HITS算法分别计算网页的评分，并对计算结果进行加权，获得网页的总价值分并按总价值分排序；

S3：响应于总价值分大于预定的第一阈值，按网页的总价值分的优先级解析并获取网页中的图片和/或文字，基于文本信息抽取方法获取网页中包含的关键词；

S4：计算关键词与关键词对应的网页的相关度，并基于相关度向共识节点发送共识请求，响应于相关度大于预设的第二阈值且共识程度大于预设的第三阈值，将关键词存储至对应类别的区块链中，网页存储至设置于区块链的节点上的数据库中，并建立网页与关键词映射关系。

优选的，步骤S1中还包括利用布隆过滤器对URL去重。布隆过滤器在空间和时间方面都有巨大的优势，布隆过滤器存储空间和插入/查询时间都是常数，Hash函数相互之间没有关系，方便由硬件并行实现，并且布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。

优选的，步骤S2中PageRank算法的计算公式具体为：