[发明专利]一种web数据采集方法和系统

摘要

本发明提供了一种web数据采集方法和系统。所述系统包括数据提供装置以及数据采集装置，其中数据提供装置用于收集web数据；数据采集装置包括：负载检测模块，用于检测数据提供装置的负载情况，并判断负载是否超过阈值，是则等待一定时间再重新检测数据提供装置的负载情况；否则通知数据采集模块对数据提供装置的web数据进行采集；数据采集模块，用于对存储在数据提供装置中的web数据进行采集，并将采集到的web数据存入数据库中；数据分析处理模块，用于对数据库中存储的web数据进行处理。根据本发明的实施例公开的web数据采集方法和系统，能够实现以简单的结构来准确高效地进行web数据采集，同时，避免网页前端压力过大的情况。

主权项

1.一种web数据采集系统，包括数据提供装置以及数据采集装置，其中所述数据提供装置用于收集web数据，包括数据存储模块，所述数据存储模块用于存储web数据；所述数据存储模块将所述web数据存储至非持久性存储单元，所述非持久性存储单元设置于所述数据存储模块中或设置于所述数据存储模块外；所述数据采集装置用于对数据提供装置的负载进行分析，并对存储于所述数据提供装置的所述web数据进行采集和分析处理，包括：负载检测模块、数据采集模块、数据库以及数据分析处理模块；其中所述负载检测模块，用于检测所述数据提供装置的负载情况，并判断负载是否超过阈值，是则等待一定时间再重新检测所述数据提供装置的负载情况；否则通知所述数据采集模块对所述数据提供装置的所述web数据进行采集；所述数据采集模块，用于对存储在所述数据提供装置中的所述web数据进行采集，并将采集到的web数据存入数据库中，所述数据采集模块通过特定的URL进行数据采集，每次采集历史累加的全部数据；所述数据提供装置被设置为：数据提供装置每次对URL进行识别，若识别到特定的URL，则所述数据提供装置对所述web数据进行归拢，以供所述数据采集装置采集；以及所述数据分析处理模块，用于对所述数据库中存储的所述web数据进行处理，其中分析不同时间段内采集到的数据的变化，所述web数据进行处理过程为对历史总数据进行数据分析。