[发明专利]一种网络采集处理异步加载数据的方法

权利要求书

1.一种网络采集处理异步加载数据的方法，其特征在于其具体实现过程为：

步骤一，通过模拟浏览器，获取网页信息，分析网页是否含有异步请求的内容：如果含有，则进一步采集异步数据；如果不含有，直接采集页面数据；

步骤二，分析含有异步数据的网页代码，发现其中异步请求的方法，即寻找异步请求地址；

步骤三，异步方法进行解析，分析其延伸事件，推导异步请求地址规律，配置相关工具实施数据采集；

步骤四，对返回数据进行解析、存储。

2. 根据权利要求1所述的一种网络采集处理异步加载数据的方法，其特征在于：所述步骤一中采集的网页信息含有异步数据时是指发现异步加载返回来的URL带有无规律可循的参数时，该参数包括带时间戳的URL，然后进入步骤二；不含有异步数据时是指页面异步加载的URL是有规律的，此时获取返回数据的URL即可。

3.根据权利要求1所述的一种网络采集处理异步加载数据的方法，其特征在于：所述步骤一中分析网页是指从网页找出Ajax请求的事件，分析涉及到的javascript脚本及参数，该网页信息的获取过程为：安装采集软件后，通过采集程序的内嵌浏览器模拟访问网页过程，获取相应的javascript脚本。

4.根据权利要求1所述的一种网络采集处理异步加载数据的方法，其特征在于：所述步骤三的详细过程为：

在javascript脚本中找到ajax请求事件，并分析延伸的事件，采用事件过滤机制，对过滤后的事件逐一触发；

如果动态请求Ajax后，依然无法获取数据，则分以下两种步骤进行：一是把登录后的cookie加进去，再次发送请求；二是通过采集程序的内嵌浏览器模重复获取相应的javascript脚本，然后重复查找ajax请求事件和过滤。

5.根据权利要求1所述的一种网络采集处理异步加载数据的方法，其特征在于：所述步骤四的返回数据解析是指通过json解析返回的ajax数据，该ajax数据解析后存储到服务器中。