[发明专利]一种web数据采集方法和系统

权利要求书

1.一种web数据采集系统，包括数据提供装置以及数据采集装置，其中

所述数据提供装置用于收集web数据，包括数据存储模块，所述数据存储模块用于存储web数据；所述数据存储模块将所述web数据存储至非持久性存储单元，所述非持久性存储单元设置于所述数据存储模块中或设置于所述数据存储模块外；

所述数据采集装置用于对数据提供装置的负载进行分析，并对存储于所述数据提供装置的所述web数据进行采集和分析处理，包括：负载检测模块、数据采集模块、数据库以及数据分析处理模块；其中

所述负载检测模块，用于检测所述数据提供装置的负载情况，并判断负载是否超过阈值，是则等待一定时间再重新检测所述数据提供装置的负载情况；否则通知所述数据采集模块对所述数据提供装置的所述web数据进行采集；

所述数据采集模块，用于对存储在所述数据提供装置中的所述web数据进行采集，并将采集到的web数据存入数据库中，所述数据采集模块通过特定的URL进行数据采集，每次采集历史累加的全部数据；

所述数据提供装置被设置为：数据提供装置每次对URL进行识别，若识别到特定的URL，则所述数据提供装置对所述web数据进行归拢，以供所述数据采集装置采集；以及

所述数据分析处理模块，用于对所述数据库中存储的所述web数据进行处理，其中分析不同时间段内采集到的数据的变化，所述web数据进行处理过程为对历史总数据进行数据分析。

2.根据权利要求1所述的系统，其特征在于，所述数据提供装置是以下装置中的任意一个：网页前端服务器、网页前端服务器的一部分、与网页前端服务器有线或者无线连接的装置、或者与后台服务器有线或者无线连接的装置。

3.根据权利要求1所述的系统，其特征在于，所述数据提供装置包括数据计数模块，所述数据计数模块用于记录规定时间内的web数据量。

4.一种使用权利要求1-3中任一权利要求所述的系统进行web数据采集的方法，所述方法包括如下步骤：

a)检测所述数据提供端的负载；

b)判断所述负载是否超过阈值，是则进入步骤c；否则进入步骤d；

c)等待规定时间，并返回步骤a重新检测所述数据提供端的负载；

d)对所述数据提供端的web数据进行采集，并存入数据库中；

e)对所述采集到的web数据进行处理，其中分析不同时间段内采集到的数据的变化。