[发明专利]一种日志采集数据压缩方法、解压缩方法及装置

说明书

技术领域

本发明涉及通信技术领域中的网络日志采集技术领域，尤其涉及一种日志采集数据压缩方法、解压缩方法及装置。 

背景技术

随着互联网的发展，根据用户的实际偏好进行业务优化和个性化信息服务已经成为业内的普遍共识。实际应用情况表明，采用个性化服务后，通常会带来超过20％的业务量提升。实现个性化服务的前提是获取用户的访问偏好信息，例如，可以通过在应用系统/Web页面中植入采集代码实现的。采集代码将用户访问网站的行为以日志形式记录，并发送到日志采集服务器，从而实现用户行为的汇总分析。这种偏好数据的获取方法的局限在于只能获取用户在一个或几个指定网站中的访问偏好，难以得到用户较为完整的互联网访问行为记录，进而限制了对用户的访问偏好分析的准确性和应用效果。此外，在应用系统/Web页面中植入代码进行访问网站的日志采集，会带来额外的开发和维护成本。 

目前，现有技术中还提出一种从用户网络接入的网关设备上进行网络日志采集的方案。当用户使用2G/3G移动通讯网络，或使用PPPoE(point-to-point protocol over ethemet)等协议连入有线网络后，可以由网关设备侧的网络日志服务器，从网关设备上获得用户的上网日志，例如，典型的日志信息包括：UID(User Identifier，用户标识)、URL(Uniform/Universal Resource Locator，统一资源定位符)、时间戳、以及其它属性字段等。这些日志信息汇总到日志采集服务器后，可用于分析用户偏好，实现业务优化和个性化服务。 

由于网络中网关设备的数量较多，且分布不均的特点，用于从网关设备上获取网络日志的各网络日志服务器在物理上是分布式的，并需要将各自得到的 日志采集数据通过网络传送至日志采集服务器，由于日志采集数据的数据量较大，将日志采集数据传送至日志采集服务器则需要较高的网络带宽资源，且当日志采集数据在保存时，也需要较多的存储资源。 

发明内容

本发明实施例提供一种日志采集数据压缩方法、解压缩方法及装置，用以解决现有技术中存在的传输日志采集数据所需的网络带宽资源较多，存储日志采集数据所需的存储资源较多的问题。 

本发明实施例提供一种日志采集数据压缩方法，包括： 

获取日志采集数据； 

分别对所述日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码； 

使用得到的所述压缩编码，替换所述日志采集数据中对应的属性值，得到压缩后的日志采集数据。 

本发明实施例还提供一种日志采集数据解压缩方法，包括： 

获取压缩后的日志采集数据，和未压缩的日志采集数据中各属性字段的各属性值的编码表； 

使用所述编码表中与各压缩编码分别对应的属性值，替换所述压缩后的日志采集数据中对应的压缩编码，得到解压缩后的日志采集数据。 

本发明实施例还提供一种日志采集数据压缩装置，包括： 

第一获取单元，用于获取日志采集数据； 

第一压缩处理单元，用于分别对所述日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码； 

第二压缩处理单元，用于使用得到的所述压缩编码，替换所述日志采集数据中对应的属性值，得到压缩后的日志采集数据。 

本发明实施例还提供一种日志采集数据解压缩装置，包括： 

第二获取单元，用于获取压缩后的日志采集数据，和未压缩的日志采集数据中各属性字段的各属性值的编码表； 

解压缩单元，用于使用所述编码表中与各压缩编码分别对应的属性值，替换所述压缩后的日志采集数据中对应的压缩编码，得到解压缩后的日志采集数据。 

本发明有益效果包括： 

本发明实施例提供的方法中，在对日志采集数据进行压缩时，首先分别对日志采集数据中各属性字段的各属性值进行编码，得到与每个属性值对应的压缩编码，然后使用得到的压缩编码，替换日志采集数据中对应的属性值，得到压缩后的日志采集数据。相应的，在解压缩时，可以使用未压缩的日志采集数据中各属性字段的各属性值的编码表中，与各压缩编码分别对应的属性值，替换压缩后的日志采集数据中对应的压缩编码，得到解压缩后的日志采集数据。由于压缩编码的数据量小于对应的属性值的数据量，所以，采用本发明实施例提供的日志采集数据的压缩方法，通过压缩能够减少日志采集数据的数据量，从而使得在保存时减少所需的存储资源，在传输时可以减少所需的网络带宽资源，并且提高传输效率。 

附图说明