[发明专利]一种数据采集方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种数据采集方法、装置、电子设备及存储介质。所述方法包括：获得目标采集源的网络地址；利用所述网络地址，确定所述目标采集源的目标类别；从预设的关于采集源的类别和采集项的对应关系中，确定与所述目标类别所对应的目标采集项；将所述网络地址和所述目标采集项发送至网络爬虫程序，以使得所述网络爬虫程序对具有所述网络地址的目标采集源中的所述目标采集项进行数据采集。应用本发明实施例能够实现对采集源进行快速有效的数据采集的目的。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

在数据处理领域中，数据处理工作的基础通常是对数据的采集，例如，首先对网页上的文章、图片进行采集，获得采集到的文章及图片，之后才能对采集到的文章及图片进行合成、裁剪等处理，获得需要的数据内容。

而对于不同类别的采集源而言，所对应的有价值的采集项可能不同。例如：对微信类别而言，即采集源源自微信，采集项可以为微信文章的标题、作者及内容等；而对网站类别而言，即采集源源自一般网站，采集项可以为网站文章的标题、作者、内容、缩略图及音视频标题等。

那么，如何快速有效地实现对采集源的数据采集是一个亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种数据采集方法、装置、电子设备及存储介质，以实现对采集源进行快速有效的数据采集的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种数据采集方法，所述方法包括：

获得目标采集源的网络地址；

利用所述网络地址，确定所述目标采集源的目标类别；

从预设的关于采集源的类别和采集项的对应关系中，确定与所述目标类别所对应的目标采集项；

将所述网络地址和所述目标采集项发送至网络爬虫程序，以使得所述网络爬虫程序对具有所述网络地址的目标采集源中的所述目标采集项进行数据采集。

可选的，所述获得目标采集源的网络地址的步骤，包括：

获得用户输入的目标采集源的地址；或

获得预设存储位置中存储的目标采集源的地址。

可选的，所述利用所述网络地址，确定所述目标采集源的目标类别的步骤，包括：

识别所述网络地址的目标结构特征；

将所述目标结构特征分别与预设的各个样本结构特征组进行匹配；其中，所述样本结构特征组与类别具有唯一对应性；

将与所述目标结构特征相匹配的样本结构特征组对应的类别，作为所述目标采集源的目标类别。

可选的，所述目标结构特征，包括：

所述网络地址中预设级的域名。

可选的，所述目标类别，包括：

网站类别、微信类别或rss类别。

可选的，所述方法还包括：

当所述目标采集源的目标类别确定失败时，将预设的通用采集项作为目标采集项，并执行所述将所述网络地址和所述目标采集项发送至网络爬虫程序的步骤。

第二方面，本发明实施例提供了一种数据采集装置，所述装置包括：

获得模块，用于获得目标采集源的网络地址；

第一确定模块，用于利用所述网络地址，确定所述目标采集源的目标类别；