[发明专利]数据库日志的处理方法及装置

说明书

本发明公开了一种数据库日志的处理方法及装置。其中，该方法包括：获取日志文件；读取日志文件的分割规则；按照分割规则对日志文件进行分割，得到至少两个预处理日志文件；将至少两个预处理日志文件依次写入预处理数据库。本发明解决了现有技术中对整个日志文件进行反复读写操作使得网站访问日志文件的预处理耗时长，导致日志处理的效率低的问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据库日志的处理方法及装置。

背景技术

随着互联网的发展，网站的访问量和数据量都直线上升，单台服务器已经无法满足应用需要了。所以，目前较为常用的做法是采用计算机集群均衡负载的方法，通过一个或者多个前端负载服务器，将服务器的负载分发到后端的一组服务器上，后端服务器收到请求并记录日志。

随着网站访问量的增长，用于记录服务器收到访问请求的日志文件也随着网站访问量的增长而不断膨胀。但是，对日志文件在处理时间上的要求并没有降低。因此，如何提高日志文件的处理效率，成为必须面临的问题。

一般的日志处理方法是直接读取原始日志文件，然后对原始日志文件中的数据进行分析。因为日志文件本身非常庞大，而受到磁盘读写速度的制约，日志文件的读取速度十分缓慢。并且在对日志文件进行不同的分析时都要重新读取所有的原始日志，这样导致效率很低。

针对现有技术中对整个日志文件进行反复读写操作使得网站访问日志文件的预处理耗时长，导致日志处理的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据库日志的处理方法及装置，以解决现有技术中对整个日志文件进行反复读写操作使得网站访问日志文件的预处理耗时长，导致日志处理的效率低的问题。

为了实现上述目的，根据本发明实施例的一个方面，提供了一种数据库日志的处理方法。该方法包括：获取日志文件；读取日志文件的分割规则；按照分割规则对日志文件进行分割，得到至少两个预处理日志文件；将至少两个预处理日志文件依次写入预处理数据库。

为了实现上述目的，根据本发明实施例的另一方面，提供了一种数据库日志的处理装置，该装置包括第一获取模块，用于获取日志文件；第一读取模块，用于读取日志文件的分割规则；分割模块，用于按照分割规则对日志文件进行分割，得到至少两个预处理日志文件；第一存储模块，用于将至少两个预处理日志文件依次写入预处理数据库。

根据发明实施例，通过获取日志文件；读取日志文件的分割规则；按照分割规则对日志文件进行分割，得到至少两个预处理日志文件；将至少两个预处理日志文件依次写入预处理数据库，解决了现有技术对整个日志文件进行反复读写操作使得网站访问日志文件的预处理耗时长，导致日志处理的效率低的问题。实现了提高对日志文件的处理速度和处理效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例一的数据库日志的处理方法的流程图；

图2是根据本发明实施例一优选的数据库日志的处理方法的流程图；

图3是根据本发明实施例一优选的数据库日志的处理方法的流程图；

图4是根据本发明实施例二数据库日志的处理装置的结构示意图；

图5是根据本发明实施例二优选的数据库日志的处理装置的结构示意图；以及

图6是根据本发明实施例二优选的数据库日志的处理装置的结构示意图。

具体实施方式