[发明专利]一种智能生成爬虫的方法及装置

说明书

技术领域

本发明涉及爬虫技术领域，特别涉及一种智能生成爬虫的方法及装置。

背景技术

随着网络时代的数据量的几何级的发展速度，在获取网络资源的效率方面的价值就越发被人们所重视。针对众多用户的关注点而言，对同一个网页中的感兴趣内容也不尽相同。使用爬虫工具虽然可以大量快速的获取网页中的内容，但是往往需要具备一定专业知识的用户才可以根据不同的关注点来获取网页中的相应的内容，对于不同类型的网页还需要具备专业知识的用户进行相应的修改，缺乏一定专业知识的用户难以灵活的更改爬虫策略来获取用户在各种不同类型的网页中感兴趣的内容。如何妥善的处理上述问题，就成为了业界亟待解决的课题。

发明内容

本发明提供一种智能生成爬虫的方法及装置，用以在用户不具备一定的专业知识的情况下，即可根据用户的实际需求生成各种策略的爬虫代码，获取并存储用户实际需要的内容。

根据本发明实施例的第一方面，提供一种智能生成爬虫的方法，包括：

构造出通用的爬虫代码；

根据输入的网页信息，通过所述爬虫代码生成所述网页的树状结构；

根据用户对所述网页的树状结构的选择指令，生成相应的爬虫规则；

根据所述爬虫规则下载对应的数据内容并保存。

在一个实施例中，所述根据输入的网页生成，通过所述爬虫代码生成所述网页的树状结构，包括：

预先构造适用于各种类型的存储结构，所述各种类型包括新闻、视频中的任一者或多者，所述存储结构包括至少一种字段，所述字段包括至少一个具体属性且所述字段包括文字、链接、图片、音频和视频中的任一者或多者；

根据所述适用于各种类型的存储结构，设计出通用的爬虫代码，所述通用的爬虫代码和所述适用于各种类型的信息载体的存储结构相匹配。

在一个实施例中，所述根据输入的网页信息，通过所述爬虫代码生成所述网页的树状结构，包括：

分析出输入的网页信息对应的所述网页的统一资源定位符；

根据所述网页的统一资源定位符，通过所述爬虫代码获取出网页的代码文件；

根据所述网页的代码文件解析出所述网页的至少一个区域模块；

分析所述至少一个区域模块的至少一个字段，所述字段包括文字、链接、图片、音频和视频中的任一者或多者；

按照所述至少一个字段在所述网页的代码文件中的结构位置，生成相应的所述网页的树状结构；

同时向用户展示所述网页的原页面，以便用户结合所述网页的树状结构对照查看。

在一个实施例中，所述根据用户对所述网页的树状结构的选择指令，生成相应的爬虫规则，包括：

根据输入的对区域模块的选择指令，生成所述爬虫规则的编辑页面，所述爬虫规则的编辑页面包括选定区域模块的树状结构和爬虫规则生成区域中的任一者或多者；

根据输入的对所述选定区域模块中的树状结构的至少一个字段的选择指令，生成相应的爬虫规则；

叠加后续输入的至少一个选择指令，在之前的所述相应的爬虫规则的基础上，逐一添加所述后续输入的至少一个选择指令对应的爬虫规则。

在一个实施例中，所述根据所述爬虫规则，下载对应的数据内容并保存，包括：

在所述爬虫规则的基础上，接收输入的存储指令，所述存储指令可针对任一区域模块中的任一字段；

获取输入的针对所述任一字段包含的至少一个具体属性；

根据输入的所有的存储指令，下载对应的数据内容并保存到对应的具体属性中。

根据本发明实施例的第二方面，提供一种智能生成爬虫的装置，包括：

构造模块，用于构造出通用的爬虫代码；

第一生成模块，用于根据输入的网页信息，通过所述爬虫代码生成所述网页的树状结构；

第二生成模块，用于根据用户对所述网页的树状结构的选择指令，生成相应的爬虫规则；

下载模块，用于根据所述爬虫规则下载对应的数据内容并保存。

在一个实施例中，所述构造模块，包括：

构造子模块，用于预先构造适用于各种类型的存储结构，所述各种类型包括新闻、视频中的任一者或多者，所述存储结构包括至少一种字段，所述字段包括至少一个具体属性且所述字段包括文字、链接、图片、音频和视频中的任一者或多者；

设计子模块，用于根据所述适用于各种类型的存储结构，设计出通用的爬虫代码，所述通用的爬虫代码和所述适用于各种类型的信息载体的存储结构相匹配。

在一个实施例中，所述第一生成模块，包括：