[发明专利]日志数据的处理方法及装置

说明书

本发明实施例提供了一种日志数据的处理方法及装置，该方法包括：获取每条日志信息的标识码和参数数据，日志信息包括格式化数据和参数数据，标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储日志文件；在进行日志解析时，获取与日志文件对应的格式文件，格式文件包括原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；根据标识码对日志文件和格式文件进行解析，得到对应的日志信息。本发明能够极大减少日志数据占用的存储空间，提升写日志的性能，降低由于明文日志打印而导致泄密的风险。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志数据的处理方法及装置。

背景技术

日志数据是通信系统中定位问题的重要数据。例如：某移动用户投诉，他在三天前某地方信号不好，打电话总是掉线。我们不能让客户重新回到原来的地方再打一次电话，只能通过后台存储的日志数据对问题进行分析定位。同时，系统后台可存储的日志数据量，对问题分析定位来说同样很重要。例如：一个通信系统后台只能存储1000MByte的日志数据，而每天会产生500MByte的日志数据，那么，此系统最多只能存储两天的日志数据，对于三天前出现的问题就无法定位，进而导致无法解决用户所投诉的三天以前出现的问题。而且，由于通信系统要求具备高实时性，日志的处理性能对通信系统的影响是非常大的。

在实现本发明过程中发明人发明现有日志数据处理方法中至少存在以下问题：日志数据占用大量存储空间，进而影响系统性能；而且明文日志数据的打印也会导致泄密的风险。因此，如何提供一种能够安全、高效地存储更详细的日志数据，又不影响通信系统整体性能的日志数据处理方法具有重要意义。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志数据的处理方法及装置。

本发明的一个方面，提供了一种日志数据的处理方法，该方法包括:

获取每条日志信息的标识码和参数数据，所述日志信息包括格式化数据和参数数据，所述标识码为原始日志数据中的每条日志信息对应的唯一日志生成标识；

将各个日志信息的标识码、参数数据以及标识码与参数数据之间的对应关系生成日志文件，存储所述日志文件；

在进行日志解析时，获取与所述日志文件对应的格式文件，所述格式文件包括所述原始日志数据中的每条日志信息的标识码、格式化数据以及标识码与格式化数据之间的对应关系；

根据所述标识码对所述日志文件和所述格式文件进行解析，得到对应的日志信息。

其中，所述根据所述标识码对所述日志文件和所述格式文件进行解析，包括：

将所述日志文件和所述格式文件中具有相同标识码的参数数据和格式化数据按照指定规则进行组合。

其中，在所述获取每条日志信息的标识码和参数数据之前，还包括：

读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，将对应编号作为所述日志信息的标识码；

对所述原始日志数据进行解析，提取所述原始日志数据的每条日志信息中重复出现的格式化数据，将每条日志信息的格式化数据、标识码以及标识码与格式化数据之间的对应关系生成所述格式文件。

其中，所述读取所述原始日志数据，对所述原始日志数据中的每条日志信息进行编号，包括：

根据日志打印接口关键字从所述原始日志数据中读取日志信息，依次对读取的日志信息进行编号。

其中，在所述根据所述标识码对所述日志文件和所述格式文件进行解析之后，所述方法还包括：

将解析出的日志信息输出到指定文件。