[发明专利]一种网络采集处理异步加载数据的方法

说明书

技术领域

本发明涉及信息通信技术领域，具体地说是一种有效完成数据采集的网络采集处理异步加载数据的方法。 

背景技术

近年来，以Ajax异步传输为典型特征已成为各大网站的主要表现形式，Ajax异步传输是一种创建交互式网页应用的网页开发技术，通过异步请求大大减少数据信息访问量，AJAX对局部刷新而不是对整个页面刷新，AJAX使得程序更快，更友好，一般的，AJAX处理过程分为四步： 

1、创建XMLHttpRequest，将目标URL设置在XMLHttpRequest；

2、向XMLHttpRequest设置一个回调函数；

3、异步发送XMLHttpRequest请求；

4、服务器响应并调用回调函数把数据显示出来。

采用上述处理步骤，可以有效节省带宽、无刷新加载页面、增强了用户体验等效果。 

但对于采集又面临着新的挑战，采集异步加载的数据经常遇见的难题： 

1、页面加载延时。页面以瀑布流的形式加载页面。

2、页面DOM树刷新。例如股票采集：页面每30秒动态刷新一次数据。 

3、点击事件的绑定。例如点击电商网站评价或交易记录时，动态加载数据。 

4、获取一个带有时间戳的ajax返回来的的URL，只能在短时间内获取该数据，否则会过期。 

基于此，现提供一种可有效采集异步加载数据、保证页面加载及时性的网络采集处理异步加载数据的方法。 

发明内容

本发明的技术任务是针对在现有技术的不足，提供一种网络采集处理异步加载数据的方法。 

本发明的技术方案是按以下方式实现的，该一种网络采集处理异步加载数据的方法，其具体实现过程为： 

步骤一，通过模拟浏览器，获取网页信息，分析网页是否含有异步请求的内容：如果含有，则进一步采集异步数据；如果不含有，直接采集页面数据；

步骤二，分析含有异步数据的网页代码，发现其中异步请求的方法，即寻找异步请求地址；

步骤三，异步方法进行解析，分析其延伸事件，推导异步请求地址规律，配置相关工具实施数据采集；

步骤四，对返回数据进行解析、存储。 

所述步骤一中采集的网页信息含有异步数据时是指发现异步加载返回来的URL带有无规律可循的参数时，该参数包括带时间戳的URL，然后进入步骤二；不含有异步数据时是指页面异步加载的URL是有规律的，此时获取返回数据的URL即可。 

所述步骤一中分析网页是指从网页找出Ajax请求的事件，分析涉及到的javascript脚本及参数，该网页信息的获取过程为：安装采集软件后，通过采集程序的内嵌浏览器模拟访问网页过程，获取相应的javascript脚本。 

所述步骤三的详细过程为： 

在javascript脚本中找到ajax请求事件，并分析延伸的事件，采用事件过滤机制，对过滤后的事件逐一触发；

如果动态请求Ajax后，依然无法获取数据，则分以下两种步骤进行：一是把登录后的cookie加进去，再次发送请求；二是通过采集程序的内嵌浏览器模重复获取相应的javascript脚本，然后重复查找ajax请求事件和过滤。

所述步骤四的返回数据解析是指通过json解析返回的ajax数据，该ajax数据解析后存储到服务器中。 

本发明与现有技术相比所产生的有益效果是： 

本发明的一种网络采集处理异步加载数据的方法通过对网站的分析和利用第三方工具获取的返回数据的URL，多方面了解该网站是如何加载异步数据，进而通过采集程序模拟加载脚本，采用了事件过滤机制，对过滤后的事件逐一触发，实用性强，页面加载及时，保证页面打开顺畅性，增强用户体验，适用范围广泛，易于推广。

附图说明

附图1是本发明的实现流程图。 

具体实施方式

下面对本发明所提供的一种网络采集处理异步加载数据的方法作以下详细说明。