[发明专利]兼容双向自动化网页内容采集方法

摘要

本发明公开了兼容双向自动化网页内容采集方法，它包括以下步骤，步骤1，配置网页信息采集任务；步骤2，解析网页数据；步骤3，采集信息的入库处理；本发明通过配置，自动的识别网页上的有效数据块，自动发现数据块的内容是通过全部网页刷新方式获取还是通过Ajax做局部数据刷新，如果是通过网页全部刷新，就按照一般的传统模式进行网页内容的采集，如果是通过Ajax局部数据刷新，就通过客户端自动执行该Ajax脚本，刷新数据后再提取有效的数据，从而达到数据全部采集的目的。

主权项

一种兼容双向自动化网页内容采集方法，其特征在于，它包括以下步骤：步骤1，配置网页信息采集任务，在配置网页信息采集任务时定义四个关键要素，定义任务采集的入口地址和信息采集的分页策略，定义采集信息在HTML DOM树的位置，定义采集内容的数据映射表；步骤2，解析网页数据，通过Jsoup打开任务采集的入口地址，开始解析该网页内容，通过配置的数据块位置，让Jsoup获取该位置下的所有内容，并参照数据映射表中的映射关系一一解析网页内容中的数据字段，当该入口地址的信息解析完成后，开始查找该网页采集任务的分页策略，如果分页策略为page，采集链接中的{Page}参数替换为真实的页数，再通过JSoup获取下一页的网页内容；如果分页策略为Ajax，通过Java Web Client执行配置中的Ajax脚本，把Ajax的{Page}参数替换为真实的页数，再通过JSoup获取下一页的网页内容；步骤3，采集信息的入库处理，通过Jsoup把采集到的标准数据存入数据库。