[发明专利]一种面向多来源数据管理的半自动化数据采集更新方法

说明书

本发明属于计算机领域，具体涉及用户在采集大量的有不同来源的数据时，通过系统的自动化管理和用户的个性化配置对不同来源的数据进行采集和更新。该方法包括如下步骤，步骤1、用户建立数据类型库，并为类型库配置不同来源；步骤2、用户为数据类型库中的来源设置数据抓取规则，并启动源数据采集任务获取网页中的源数据；步骤3、用户启动数据预处理任务，对步骤2中得到的源数据进行初步预处理，提取出来源网页中的网页信息；步骤4、用户基于数据预处理得到的网页信息，进行系统配置，并在配置完成后启动数据处理任务，对数据进行处理或更新。

技术领域

本发明属于计算机领域，具体涉及用户在采集大量的有不同来源的数据时，通过系统的自动化管理和用户的个性化配置对不同来源的数据进行采集和更新。

背景技术

随着信息时代的不断发展，数据已经成为信息化管理的一个重要组成部分，对数据的采集、清洗和利用也成为信息展示和管理的基础。在数据的采集过程中，常常会出现资源消耗过大、多个程序管理不便、爬虫程序与清洗程序混乱、用户无法自定义系统配置等问题，这对企业的信息采集过程以及研究者的数据集收集都带来了极大的不便。除此之外，现有的爬虫管理平台不能实现完整的一套符合用户个性化配置的数据采集、清洗、更新流程。例如现流行的开箱即用的爬虫管理平台crawlab，其侧重点更偏向于爬虫程序的管理和监控，主要包括在线开发爬虫文档、实时监控爬虫运行、分布式爬虫任务处理等功能，而没有实现一套数据采集、清洗到更新的完整流程。而本系统在设计出一套半自动化的数据采集更新方法之后，对爬虫任务、更新任务的管理仍然保持了高度的扩展性，更加符合用户需求。

发明内容

为了解决上述问题，将系统对数据的采集、清洗和更新进行统一管理，与用户的个性化配置结合在一起，本发明提出了一种面向多来源数据管理的半自动化数据采集更新方法，可实现按照用户的配置执行相应任务，例如数据采集和数据处理任务。通过增加数据预处理的方式，将网页源数据中的所有网页标题提取出来，用户通过比对各个来源的网页标题决定在该数据类型库中最终要保留的属性名，则所有来源的数据转换完成之后都将按照该格式保存，以此来实现用户的个性化数据设置。

为实现上述目的，本发明采用如下技术方案：

一种面向多来源数据管理的半自动化数据采集更新方法，包括如下步骤，

步骤1、用户建立数据类型库，并为类型库配置不同来源；

步骤2、用户为数据类型库中的来源设置数据抓取规则，并启动源数据采集任务获取网页中的源数据；

步骤3、用户启动数据预处理任务，对步骤2中得到的源数据进行初步预处理，提取出来源网页中的网页信息；

步骤4、用户基于数据预处理得到的网页信息，进行系统配置，并在配置完成后启动数据处理任务，对数据进行处理或更新。

本技术方案进一步的优化，所述步骤1中的数据类型库是指用户需要收集的任意一种类型的数据，为其命名并在系统中创建。

本技术方案进一步的优化，所述步骤1中用户在配置不同来源时，主要包括以下步骤：

步骤1.1、新增一个来源时，首先查看系统来源库中是否包含该来源；

步骤1.2、如果系统来源库中包含该来源，则用户只需将该来源添加到该数据类型库中；

步骤1.3、如果系统来源库中不包含该来源，则用户需要添加新来源，录入来源信息包括设置来源信息、来源地址、上传数据抓取文件等。

本技术方案进一步的优化，所述步骤2中用户为数据类型库中的来源设置抓取规则时，若用户采用的是系统来源库中的来源，则不需要再提供抓取规则。

本技术方案进一步的优化，所述步骤2中用户为数据类型库中的来源设置抓取规则，所述抓取规则自定义抓取规则。