[发明专利]数据采集系统和方法

说明书

本发明实施例提供一种数据采集系统和方法，该系统包括：爬虫管理模块，采集集群模块和数据落地模块；所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程通过所述采集集群模块在网页中采集数据，并基于滤重机制对采集到的数据进行处理，得到有效数据；所述数据落地模块用于获取所述有效数据，并将所述有效数据按照预先确定的落地路径写入相应的内存中。该数据采集系统通过统一管理爬虫线程以及数据滤重，大大减少了开发人员的工作量，提高了数据采集效率和精度。

技术领域

本发明实施例涉及数据采集技术领域，尤其涉及一种数据采集系统和方法。

背景技术

随着网络的迅速发展，互联网成为大量信息的载体，其中包含舆情信息、就业信息、社会事件信息以及各个行业的信息等等，不同网页中主要承载的信息也不完全相同，比如，娱乐网站的网页主要承载舆情信息、医疗相关网页上主要承载医药行业领域的信息。如何有效在各个网页中采集这些信息是大数据分析的基础。

目前，网络爬虫是数据分析系统中非常重要的部分，网络爬虫负责从互联网中搜集网页和采集网页中的信息，采集到的信息为了后续的大数据分析提供支持，采集到的信息种类和采集速度直接决定整个数据分析系统的内容丰富程度和数据分析的效果。

但是，通用的爬虫框架在很多个性化网站无法满足采集开发，如果针对每个个性化网站均单独开发采集框架，则需要开发人员针对每隔个性化网站均开发调度、解析、滤重以及落地等多个模块，随着个性化网站数量的增加，开发人员的工作量也越来越大，从而导致数据采集的效率和精度越来越低。

发明内容

本发明实施例提供一种数据采集系统和方法，以克服现有技术中互联网网页数据采集效率和精度低的技术问题。

第一方面，本发明实施例提供一种数据采集系统，包括：

爬虫管理模块，采集集群模块和数据落地模块；

所述爬虫管理模块中部署有多个爬虫线程，不同爬虫线程对应的数据采集方式不同；

所述爬虫管理模块用于：基于调度机制，控制相应爬虫线程通过所述采集集群模块在网页中采集数据，并基于滤重机制对采集到的数据进行处理，得到有效数据；

所述数据落地模块用于获取所述有效数据，并将所述有效数据按照预先确定的落地路径写入相应的内存中。

可选的，所述爬虫管理模块包括调度单元，所述调度单元用于：

控制相应爬虫线程创建对应的采集任务，并将所述采集任务发送至所述采集集群模块，以使所述采集集群模块根据所述采集任务采集相应的网站中的列表页和内容页；

解析所述列表页和内容页，得到衍生任务或写入文件，所述衍生任务包括列表页任务和内容页任务。

可选的，所述爬虫管理模块还包括滤重单元，所述滤重单元用于：

根据每个列表页和内容页对应的统一资源定位符URL的哈希值，对所述列表页和内容页进行滤重。

可选的，所述滤重单元还用于：

根据预先设定的滤重时间点，对所述列表页和内容页进行滤重操作。

可选的，所述滤重单元还用于：

根据预先设定的有效时间范围，对所述有效时间范围内的列表页和内容页进行滤重操作。

可选的，所述爬虫管理模块还包括检查单元，所述检查单元用于：

对所述写入文件中包含的各个字段进行检查，将符合预设条件的字段作为有效数据。

可选的，所述数据落地模块具体用于：