[发明专利]多状态AJAX网页内容获取方法及系统

摘要

本发明是一种多状态AJAX网页内容自动获取方法和系统，属于互联网数据挖掘技术领域。该方法包括：加载网页并提取AJAX调用事件，按照基于AJAX状态转换图的遍历方法逐步执行所有AJAX调用事件，并用AJAX状态识别方法判断每次执行得到的状态是否是重复状态，从而自动获取多状态AJAX网页所有状态内容和状态转换信息。与所述方法相对应的系统包括：事件识别和执行单元、页面状态识别单元和状态遍历调度单元。通过本发明能获取到多状态AJAX网页内容和状态转换信息，使搜索引擎能够索引更完整的网页内容。

主权项

一种多状态AJAX网页内容获取方法，其特征在于，包括步骤：S101：通过URL加载AJAX网页，得到网页初始状态，并在AJAX状态转换图上添加一个对应该网页初始状态的新顶点；S102：判断顶点数是否大于阈值，若是转向步骤S111，否则转向步骤S103；S103：提取出该网页当前状态上的每一个AJAX调用事件，若为新事件，加入到该状态对应的AJAX调用事件队列中，否则在状态转换图上添加一条边，该边始于当前状态顶点，终于目标状态顶点；S104：判断该状态AJAX调用事件队列是否为空，若该状态AJAX调用事件队列不为空，则转向步骤S105，否则转向步骤S109；S105：从队列中取出一个新的AJAX调用事件并执行；S106：判断得到的状态是否为新状态，若是新状态，转向步骤S107，否则转向步骤S108；S107：在AJAX状态转换图上添加一个对应该状态的新顶点，并添加一条从前一状态顶点到当前状态顶点的边，转向步骤S102；S108：添加一条从前一状态顶点到当前状态顶点的边，转向步骤S104；S109：寻找AJAX调用事件队列不为空的状态，若找到，转向步骤S110，否则转向步骤S111；S110：导航到所述AJAX调用事件队列不为空的状态，转向步骤S105；S111：本次抓取过程结束。