[发明专利]基于机器学习的自适应动态网页爬虫系统的实现方法

权利要求书

1.一种基于机器学习的自适应动态网页爬虫系统的实现方法，其特征在于，包括：

动态网页路径选择模块根据输入信息获取所有联通的交互路径集合；

动态网页路径自适应训练模块对所述动态网页路径选择模块输出的所述交互路径集合中的进行实时排序，形成交互路径列表；

动态网页数据抓取模块对所述交互路径列表中的n条最优路径进行动态页面抓取，并将结果反馈给动态网页路径自适应训练模块，更新所述交互路径列表；

其中，所述输入信息包括下列中的一个或多个：入口网页地址、目标网页地址、交互过程使用的初始输入数据、目标信息数据结构、和抓取网页范围列表；

所述联通的交互路径集合包括从入口网页地址出发、到目标网页地址截止的交互路径和网络数据交互信息；

所述根据输入信息获取所有联通的交互路径集合的步骤包括：

用浏览器内核，通过模拟用户行为的方式访问入口网页，同时设置并初始化操作树；

用xpath、正则表达式或自定义编程的方式分析页面结构，调用浏览器内核，模拟用户行为，将初始输入数据输入至网页相应区域；

通过模拟用户行为的方式进行交互操作，进入下一可达页面；并将操作源网页地址、操作目标网页地址、操作方法、网络交互接口、网络交互数据封装为一个节点，插入到操作树的相应位置。

2.根据权利要求1所述的自适应动态网页爬虫系统的实现方法，其特征在于，所述动态网页路径选择模块根据网页初始信息获取所有联通的交互路径集合的步骤还包括：

若当前网页地址为所述输入信息中指定的目标网页地址，则将当前页面判定为目标网页；

若当前网页地址非目标网页地址，判断下一页面的主页是否在所述输入信息的抓取网页范围列表中，或是否无下一可达页面；

当下一页面的主页不在所述输入信息的抓取网页范围列表中，或无下一可达页面，则判断所述当前网页中是否包含具有输入信息中指定的目标信息数据结构的数据；

若当前网页包含所述输入信息中指定的目标信息数据结构的数据，则将当前页面判定为目标网页，并将操作树中当前网页的子节点到根节点的路径加入至所述输入信息中。

3.根据权利要求1至2中任一项所述的自适应动态网页爬虫系统的实现方法，其特征在于，所述对所述动态网页路径选择模块输出的所述交互路径集合中的进行实时排序，形成交互路径列表的步骤包括：

接收所述动态网页路径选择模块输出的所述交互路径集合以及初始配置信息、初始数据、数据抓取结果，并对输入的交互路径集合中的路径进行排序；

输出排序后的交互路径列表，形成交互路径列表。

4.根据权利要求3所述的自适应动态网页爬虫系统的实现方法，其特征在于，对所述交互路径集合中的进行实时排序通过如下公式进行：

路径指标＝(输入路径集合中最长路径长度-路径长)*ω_路径长度+路径访问健壮性*ω_{路径访问健壮度}；

其中各权重ω值由初始配置信息给出，路径指标计算公式中的路径长度为输入路径所包含的节点数，路径指标与路径长度成反比，所述路径访问健壮性数值初始值为0。

5.根据权利要求4所述的自适应动态网页爬虫系统的实现方法，其特征在于，更新所述交互路径列表包括：

所述动态网页数据抓取模块从动态网页路径自适应训练模块获取排序后的交互路径列表，选择最优的n条交互路径进行动态网页抓取；

所述动态网页数据抓取模块将数据抓取结果输入所述动态网页路径自适应训练模块，所述动态网页路径自适应训练模块判断结果可达性及结果有效性，根据结果数据计算出该结果对应的路径的所述访问健壮性数值；

所述动态网页数据抓取模块根据所述访问健壮性数值更新所述路径指标，并对路径列表重新排序，形成新的交互路径列表。