[发明专利]一种数据抓取方法及系统

说明书

本发明公开了一种数据抓取方法，包括以下步骤：获取并发送数据抓取请求；根据数据抓取请求生成并发送数据抓取规则；根据数据抓取规则建立数据抓取任务；根据数据抓取任务设定一个或多个数据抓取节点；将数据抓取任务下发到各个数据抓取节点，通过数据抓取节点抓取数据，并将抓取的数据发送至终端。本发明还公开了一种数据抓取系统。本发明具有可对数据进行准确抓取，保证数据抓取精确度，提高数据抓取效率优点。

技术领域

本发明涉及计算机及互联网技术领域，具体而言，涉及一种数据抓取方法及系统。

背景技术

随着社交网络、移动互联网的大规模发展，人们能更方便的通过手机获取资讯、发表言论、沟通交流。特别是在社交网络繁荣之后，每个网民都可以创造信息，使得网络中的信息量出现爆发式的增长，这其中的文本信息有多种来源：微博、新闻、论坛、博客、问答、评论等，可以统称为舆情数据。品牌广告主、政府部门都希望了解网民的舆论，对于品牌广告主，他们希望从这些信息中获取用户对品牌的态度，以及用户的兴趣偏好，而且希望及时的获取到网络中对本品牌的负面信息，从而做出快速的处理。为了对海量的文本进行深入精细的分析，需要快速全面的抓取信息，并且能覆盖多种来源。

现有技术中，数据抓取平台上设置了一个专门接收并分发各数据抓取请求的管理结点，所有的数据抓取请求只能通过这一个管理结点而下发给各个抓取结点，一旦管理结点无法正常运行，那么所有的数据抓取请求便无法下发给各个抓取结点，导致数据抓取无法进行，进而发送终端无法接收到需要抓取的数据或者数据抓取不完整，导致发送终端无法接收到准确完整的数据，网络中的数据量大，导致抓取数据的精确度和数据抓取效率低下。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种数据抓取方法及系统，可对数据进行准确抓取，保证数据抓取精确度，提高数据抓取效率。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种数据抓取方法，包括以下步骤：

获取并发送数据抓取请求；

根据数据抓取请求生成并发送数据抓取规则；

根据数据抓取规则建立数据抓取任务；

根据数据抓取任务设定一个或多个数据抓取节点；

将数据抓取任务下发到各个数据抓取节点，通过数据抓取节点抓取数据，并将抓取的数据发送至终端。

当业务终端需要获取互联网中的数据时，首先发送一个数据抓取请求，当获取到业务终端发送的数据抓取请求后，将数据抓取请求发送至后续进行处理，上述数据抓取请求包含数据总量、请求发送终端的位置数据、数据类型以及统一资源定位符等信息，根据数据抓取请求生成并发送一个数据抓取规则，以便后续根据该数据抓取规则建立数据抓取任务，进而进行合理高效的数据抓取，根据数据抓取规则建立好数据抓取任务后，根据数据抓取任务设定一个或多个数据抓取节点，当数据抓取任务量小时，可以设定一个抓取节点进行数据抓取，当数据抓取任务量大时，可以设定多个数据抓取节点，以便对数据进行快速的抓取，同时也避免因一个节点运行异常导致无法抓取数据或数据抓取不完整的情况，进而保证数据抓取的效率，当抓取节点设定完成后，将数据抓取任务下发到各个数据抓取节点，通过各个数据抓取节点抓取数据，并将抓取的数据发送至业务终端。

本方法根据不同的数据抓取任务设定相应的数据抓取节点，进而保证对数据的准确抓取，保证数据抓取的精确度，同时通过多个数据抓取节点抓取数据，提高数据抓取效率。

基于第一方面，在本发明的一些实施例中，上述根据数据抓取请求生成并发送数据抓取规则的方法包括以下步骤：

提取数据抓取请求中的数据总量、请求发送终端的位置数据、一个或多个数据类型以及统一资源定位符；