[发明专利]一种自适应网络爬虫系统及其数据获取方法

说明书

本发明公开一种自适应网络爬虫系统及其数据获取方法，其中，方法包括：在目标网站进行改版前提取目标网站中目标网页信息部分的关键词及关键词周围的关键标签格式并基于该关键词形成第一数据集合；在无法提取目标网页中的数据时确定目标网站已进行改版，基于所述关键标签格式，根据当前目标网页URL链接，抓取当前目标网页预设深度的所有页面，形成第二数据集合；判断第一数据集合与第二数据集合的信息是否相似；若是则在当前目标网页中搜索目标关键词下的内容标签区域，获得所需内容数据，该目标关键词为第二数据集合中与第一数据集合中关键词相同或相似的元素。可在网站改版后自动适应改版后网站的DOM结构，获取改版后网站中目标网页内的数据。

技术领域

本发明实施例涉及网络爬虫技术领域，具体涉及一种自适应网络爬虫系统及其数据获取方法。

背景技术

随着大数据时代的到来，人们对数据的需求越来越旺盛。互联网上的公开数据，网站改版是比较频繁的，例如，很多网站十至十五天便会改版一次。一般每改版一次，都需要重新写代码以适应其网页结构。

网络爬虫是一种“自动化浏览网络”的程序，或者说是一种网络机器人，可以自动采集所有搜索引擎或网站中其能够访问到的页面内容。在现有技术中，当某个网站改版后，需要根据改版后的网站重新编写网络爬虫的代码，以适应其网页结构，这非常费时费力。

鉴于此，如何提供一种自适应网络爬虫系统及其数据获取方法，以使其在网站改版后，能够自动适应改版后的网站的DOM(文档对象模型)结构，获取改版后的网站中目标网页内的数据成为目前需要解决的技术问题。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种自适应网络爬虫系统及其数据获取方法。

第一方面，本发明实施例提出一种自适应网络爬虫系统的数据获取方法，包括：

在目标网站进行改版前，提取所述目标网站中的目标网页信息部分的关键词以及关键词周围的关键标签格式，并基于所提取的关键词，形成第一数据集合；

在无法对所述目标网页进行数据提取时，确定所述目标网站已进行改版，基于所述关键标签格式，根据当前目标网页的统一资源定位符URL链接，抓取当前目标网页预设深度的所有页面，形成第二数据集合；

判断所述第一数据集合与所述第二数据集合的信息是否相似；

若判断获知所述第一数据集合与所述第二数据集合的信息相似，则在当前目标网页中搜索目标关键词下的内容标签区域，以获得所需内容数据，其中，所述目标关键词为所述第二数据集合中与所述第一数据集合中的关键词相同或相似的元素。

可选地，在当前目标网页中所述目标关键词下的内容标签区域，以获得所需内容数据之后，所述方法还包括：

将获得的所需内容数据与数据库在目标网站进行改版前所抓取存入的数据进行对比，判断获得的所需内容数据中的每个数据是否是正确的数据类型；

若获得的所需内容数据中的某一数据不是正确的数据类型，则进行报错。

可选地，所述根据当前所述目标网页的统一资源定位符URL链接，抓取所述目标网页预设深度的所有页面，形成第二数据集合，包括：

根据当前所述目标网页的统一资源定位符URL链接，在当前目标网页预设深度的所有页面中，查找与所述关键标签格式相同或者相似的标签格式；

提取出所查找到的标签格式中所有标签中的文字内容，形成第二数据集合。

可选地，所述判断所述第一数据集合与所述第二数据集合的信息是否相似，包括：

根据预先建立的目标特定领域的近义词对库，将所述第一数据集合中的每一元素与所述第二数据集合中的每一元素分别进行比对；