[发明专利]网页数据的收集方法及装置

说明书

本申请公开了一种网页数据的收集方法及装置。该方法包括：在采集程序的代码中确定目标对象，其中，目标对象为采集程序中用于存储数据的对象，采集程序用于收集网页上的数据；依据预设格式以字符串的形式修改对目标对象中目标属性的操作方式，得到目标采集程序；压缩目标采集程序；以及在网页上加载压缩后的目标采集程序以对网页进行数据收集。通过本申请，解决了相关技术中收集网页数据的准确性较低的问题。

技术领域

本申请涉及互联网领域，具体而言，涉及一种网页数据的收集方法及装置。

背景技术

目前，主流网页分析工具使用布置在网页上的采集程序(例如：JavaScriptTracker)在网页端收集访问者访问行为和系统信息数据，发送至数据仓库服务器。浏览器加载网页中的JavaScript Tracker所需的时间受JavaScript Tracker代码容量大小影响，为了提升加载JavaScript Tracker的速度，需要在不影响执行效果的情况下，在将JavaScript Tracker代码部署在需要采集数据的网页之前对JavaScript Tracker代码进行压缩。相关技术中的压缩工具是通过删除代码中的空白字符和重命名局部变量进行压缩，相关技术中使用的压缩工具，例如，Google Closure Compiler的Advanced Mode进行压缩的压缩比例较高，因为其采用了更多的方法进行压缩，包括重命名对象属性名。JavaScript Tracker向数据仓库服务器发送收集到的数据，其流程是首先创建一个data对象，通过收集到的数据对data对象中各属性进行赋值，随后将其字符串化，再将该字符串发送给数据仓库服务器。而Google Closure Compiler的Advanced Mode在对JavaScriptTracker代码进行压缩的过程中，重命名对象属性名的操作会导致重命名上述data对象的属性名，即服务器接收到的数据的字段名被重命名，即服务器无法正确解析接收到的数据，从而导致收集网页数据的准确性较低。

针对相关技术中收集网页数据的准确性较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种网页数据的收集方法及装置，以解决相关技术中收集网页数据的准确性较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种网页数据的收集方法。该方法包括：在采集程序的代码中确定目标对象，其中，目标对象为采集程序中用于存储数据的对象，采集程序用于收集网页上的数据；依据预设格式以字符串的形式修改对目标对象中目标属性的操作方式，得到目标采集程序；压缩目标采集程序；以及在网页上加载压缩后的目标采集程序以对网页进行数据收集。

进一步地，在网页上加载压缩后的目标采集程序以对网页进行数据收集包括：执行压缩后的目标采集程序以进行数据收集，得到目标数据；以及发送目标数据。

进一步地，执行压缩后的目标采集程序以进行数据收集，得到目标数据包括：获取目标数据；将目标数据存入预设存储对象；将预设存储对象中的目标数据进行字符串化处理，发送目标数据包括：发送处理后的目标数据。

进一步地，压缩目标采集程序包括：遍历目标采集程序中所有对象，确定非目标对象和目标对象中的非目标属性；将非目标对象和目标对象中的非目标属性作为第一压缩对象，并对第一压缩对象进行压缩处理和重命名处理；以及将目标对象中目标属性作为第二压缩对象，并对第二压缩对象进行压缩处理。

进一步地，操作方式为读写方式。

为了实现上述目的，根据本申请的另一方面，提供了一种网页数据的收集装置。该装置包括：确定单元，用于在采集程序的代码中确定目标对象，其中，目标对象为采集程序中用于存储数据的对象，采集程序用于收集网页上的数据；修改单元，用于依据预设格式以字符串的形式修改对目标对象中目标属性的操作方式，得到目标采集程序；压缩单元，用于压缩目标采集程序；以及收集单元，用于在网页上加载压缩后的目标采集程序以对网页进行数据收集。