[发明专利]一种动态脚本网站数据快速收集方法

摘要

本发明涉及一种动态脚本网站数据快速收集方法，其特征在于：它包括以下步骤：i)获取Index页面并保存，将Index页面加入待处理队列；ii)判断待处理队列是否为空，若为空则表明抓取完成，退出抓取过程；否则从待处理队列中任意选择一个页面，利用页面相似性得到当前页面的类型，根据训练步骤中提取出的XPath路径特征，确定类型需要触发哪些页面元素上的哪些事件；iii)判断当前页面是否有未触发过的事件，若没有则跳转到步骤ii)；否则触发事件，判断当前页面是否变化且变化后的页面为新页面，若没有变化或非新页面则跳转到步骤v)；否则继续执行步骤iv)；vi)保存新页面并将新页面加入到步骤i)中的待处理队列；v)回退到触发事件前的页面状态，并跳转到步骤iii)。

主权项

1、一种动态脚本网站数据快速收集方法，其特征在于：它包括以下步骤：i)获取Index页面并保存，将Index页面加入待处理队列；ii)判断所述待处理队列是否为空，若为空则表明抓取完成，退出抓取过程；否则从所述待处理队列中任意选择一个页面，利用页面相似性得到当前页面的类型，根据训练步骤中提取出的所述XPath路径特征，确定所述类型需要触发哪些页面元素上的哪些事件；iii)判断所述当前页面是否有未触发过的事件，若没有则跳转到步骤ii)；否则触发事件，判断所述当前页面是否变化且变化后的页面为新页面，若没有变化或非新页面则跳转到步骤v)；否则继续执行步骤iv)；vi)保存所述新页面并将所述新页面加入到步骤i)中的待处理队列；v)回退到触发事件前的页面状态，并跳转到步骤iii)。