[发明专利]一种web数据采集方法和系统

说明书

本发明提供了一种web数据采集方法和系统。所述系统包括数据提供装置以及数据采集装置，其中数据提供装置用于收集web数据；数据采集装置包括：负载检测模块，用于检测数据提供装置的负载情况，并判断负载是否超过阈值，是则等待一定时间再重新检测数据提供装置的负载情况；否则通知数据采集模块对数据提供装置的web数据进行采集；数据采集模块，用于对存储在数据提供装置中的web数据进行采集，并将采集到的web数据存入数据库中；数据分析处理模块，用于对数据库中存储的web数据进行处理。根据本发明的实施例公开的web数据采集方法和系统，能够实现以简单的结构来准确高效地进行web数据采集，同时，避免网页前端压力过大的情况。

技术领域

本发明涉及计算机数据处理技术领域，特别是一种web数据采集方法和系统。

背景技术

目前，互联网技术飞速发展，信息呈现出爆炸性的增长，web数据分析具有了非常重大的意义。通过对网页中大量的非结构化的数据进行分析，可以得到有价值的报表等，提供给网站运营人员和管理人员，供他们做决策和运营。其中，Web数据例如包括：PV(pageview，页面浏览量)日志，点击(或者称事件)日志，效果日志(包括登录，订单等)等数据。

为了对web数据进行分析，首先要进行web数据的采集。目前用于web数据采集的方法主要有：

方法一：网络爬虫。按照一定的规则，从一个或若干初始网页的URL开始，获得初始网页上的URL，在以网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足一定条件，系统停止采集网页。网络爬虫能全面地采集互联网数据，但是数据采集周期长，并且采集的数据不精准，采集的数据大多包含导航条、广告信息、版权信息以及调查问卷等“噪音”内容，需要对采集回来的网页文件进行网页去噪等一系列的处理。

方法二：镜像端口，将交换机的一个或几个端口的数据包复制到一个指定的端口，通过分析仪连接镜像端口接受数据。因为将交换机的多端口流量镜像到一个端口上，可引起缓存过载及丢包现象，并且大多数据镜像端口会过滤掉不规则的数据包。

方法三：分路器TAP，将分路器TAP插入到半/全双工的10/100/1000M网络链路中，可以使这条链路的全部数据信息复制到分析仪。分路器能保证数据100%的捕获而没有丢包，但是需额外费用购买分路TAP，并且一次只能查看一条链路。

方法四：脚本语言。将一段特殊的脚本语言嵌入到web的前端页面中按照一定的采集参数规范表，记录用户的各种行为，并将该记录存入后端服务器的数据库。但是如果采集的数据变化时，就需要修改前端的代码；而且如果后端服务器发生宕机，前端页面也可能不知道而继续采集,浪费了采集时间并降低了采集效率。

此外，由于在特定的web生产环境下，网页前端往往会承载海量用户访问。而数据采集行为都会在不同程度上增加网页前端的压力情况。所以根据目前的web数据采集方法，则存在使网页前端压力过大的可能性。

因此，需要一种web数据采集方法和系统，实现以简单的结构来准确高效地进行web数据采集，同时，避免网页前端压力过大的情况。

发明内容

本发明的目的是提供一种web数据采集方法和系统。