[发明专利]基于机器学习的自适应动态网页爬虫系统的实现方法

说明书

本发明公开一种基于机器学习的自适应动态网页爬虫系统的实现方法，包括：动态网页路径选择模块根据输入信息获取所有联通的交互路径集合；动态网页路径自适应训练模块对动态网页路径选择模块输出的交互路径集合中的进行实时排序，形成交互路径列表；动态网页数据抓取模块对交互路径列表中的n条最优路径进行动态页面抓取，并将结果反馈给动态网页路径自适应训练模块，更新交互路径列表；其中，输入信息包括下列中的一个或多个：入口网页地址、目标网页地址、交互过程使用的初始输入数据、目标信息数据结构、和抓取网页范围列表。

技术领域

本发明涉及一种计算机技术，具体而言，涉及一种基于机器学习的自适应动态网页爬虫系统。

背景技术

由于动态网页具有交互性强、交互数据复杂的特点，目前的动态网页爬虫程序的编写需要软件开发人员对页面代码及交互规则进行具体的分析研究。这些分析研究的工作量随着交互过程和交互数据的复杂性增加而成倍的增加。同时，各网站页面的交互规则不同，导致针对某一网站进行的分析研究工作缺少可复用性，大大增加了动态网页爬虫程序的编写工作量。

发明内容

本发明实施例中提供一种基于机器学习的自适应动态网页爬虫系统的实现方法，以解决上述至少一个问题。

为解决上述技术问题，本发明实施例提供了一种基于机器学习的自适应动态网页爬虫系统的实现方法，包括：动态网页路径选择模块根据输入信息获取所有联通的交互路径集合；动态网页路径自适应训练模块对动态网页路径选择模块输出的交互路径集合中的进行实时排序，形成交互路径列表；动态网页数据抓取模块对交互路径列表中的n条最优路径进行动态页面抓取，并将结果反馈给动态网页路径自适应训练模块，更新交互路径列表；其中，输入信息包括下列中的一个或多个：入口网页地址、目标网页地址、交互过程使用的初始输入数据、目标信息数据结构、和抓取网页范围列表。

进一步地，联通的交互路径集合包括从入口网页地址出发、到目标网页地址截止的交互路径和网络数据交互信息。

进一步地，根据输入信息获取所有联通的交互路径集合的步骤包括：用浏览器内核，通过模拟用户行为的方式访问入口网页，同时设置并初始化操作树；用xpath、正则表达式或自定义编程的方式分析页面结构，调用浏览器内核，模拟用户行为，将初始输入数据输入至网页相应区域；通过模拟用户行为的方式进行交互操作，进入下一可达页面；并将操作源网页地址、操作目标网页地址、操作方法、网络交互接口、网络交互数据封装为一个节点，插入到操作树的相应位置。

进一步地，动态网页路径选择模块根据网页初始信息获取所有联通的交互路径集合的步骤还包括：若当前网页地址为输入信息中指定的目标网页地址，则将当前页面判定为目标网页；若当前网页地址非目标网页地址，判断下一页面的主页是否在输入信息的抓取网页范围列表中，或是否无下一可达页面；当下一页面的主页不在输入信息的抓取网页范围列表中，或无下一可达页面，则判断当前网页中是否包含具有输入信息中指定的目标信息数据结构的数据；若当前网页包含输入信息中指定的目标信息数据结构的数据，则将当前页面判定为目标网页，并将操作树中当前网页的子节点到根节点的路径加入至输入信息中。

进一步地，对动态网页路径选择模块输出的交互路径集合中的进行实时排序，形成交互路径列表的步骤包括：接收动态网页路径选择模块输出的交互路径集合以及初始配置信息、初始数据、数据抓取结果，并对输入的交互路径集合中的路径进行排序；输出排序后的交互路径列表，形成交互路径列表。

进一步地，对交互路径集合中的进行实时排序通过如下公式进行：

路径指标＝(输入路径集合中最长路径长度-路径长)*ω_路径长度+路径访问健壮性*ω_{路径访问健壮度}；其中各权重ω值由初始配置信息给出，路径指标计算公式中的路径长度为输入路径所包含的节点数，路径指标与路径长度成反比，路径访问健壮性数值初始值为0。