[发明专利]日志的解析方法及装置

说明书

本申请公开了一种日志的解析方法及装置。该方法获取目标应用服务的当前字段要求，当前字段要求包括至少一个目标字段标识和至少一个目标字段标识的顺序；根据存储的目标应用服务的正则表达式和当前字段要求，查找存储的正则表达式库，获取针对存储的正则表达式的待更新的字段标识和更新操作；根据待更新的字段标识和所述更新操作，对存储的正则表达式进行更新处理，生成满足当前字段要求的正则表达式；采用满足当前字段要求的正则表达式，对目标应用服务的日志进行解析，获取日志解析内容。与现有技术相比，该方法避免了手工修改正则表达式，提高了修改效率和修改正则表达式的准确率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志的解析方法及装置。

背景技术

目前，每个公司会通过具有相同日志模板的日志系统来存储使用的多个应用服务，如应用程序(Application，APP)的日志信息。这些APP生成的日志信息都有要接入日志分析平台的需求，应用服务期待接入日志分析平台后可以在分布式全文检索系统Elasticsearch上看到采用数据解析(Extract-Transform-Load，ETL)解析出的字段。

目前采用的方法是，在APP运行的终端设备上安装logstash日志收集工具，收集指定目录下的日志信息，并存储在logstash的配置文件中，采用正则表达式进行解析，解析出每一条日志的目标解析字段，再将这些字段写入Elasticsearch中，供应用服务查看、统计等。

如上所述，对于现有的技术方案来说，由于有日志接入需求的APP比较多，虽然每个APP的日志格式大体相同，但是每个应用服务期望解析出的字段可能不尽相同，如APP1期望解析出的字段为A字段、B字段和C字段，APP2期望解析出的字段为A字段和B字段，故在实际开发中要针对每一个APP的具体情况，需要逐一手工设置正则表达式。当某个应用服务的解析需求(或称“字段要求”)发生改变，如增加字段或减少字段时，也需要手工修改正则表达式。

由于日志解析的正则表达式都比较长，基于目前的手工修改方式，对日志解析的正则表达式的手工修改较复杂，效率较低，同时会存在人工修改误差，修改准确率不高，导致日志解析出错。

发明内容

本申请实施例提供一种日志的解析方法及装置，解决了现有技术存在的上述问题，避免手工修改正则表达式，提高了修改效率和修改正则表达式的准确率。

第一方面，提供了一种日志的解析方法，该方法可以包括：

获取所述目标应用服务的当前字段要求，所述当前字段要求包括至少一个目标字段标识和所述至少一个目标字段标识的顺序；

根据存储的所述目标应用服务的正则表达式和所述当前字段要求，查找存储的正则表达式库，获取针对所述存储的正则表达式的待更新的字段标识和更新操作，所述正则表达式库用于存储字段标识的正则表达式和字段标识组合的正则表达式；

根据所述待更新的字段标识和所述更新操作，对所述存储的正则表达式进行更新处理，生成满足所述当前字段要求的正则表达式；

采用满足所述当前字段要求的正则表达式，对所述目标应用服务的日志进行解析，获取日志解析内容。

在一个可选的实现中，获取所述目标应用服务的当前字段要求之前，所述方法还包括：

获取目标应用服务的初始字段要求，所述初始字段要求包括至少一个字段标识和所述至少一个字段标识的顺序；

查找存储的正则表达式库，获取所述至少一个字段标识中每个字段标识的正则表达式；

采用表达式组合算法，按照所述至少一个字段标识的顺序将所述至少一个字段标识中每个字段标识的正则表达式进行组合，生成满足所述初始字段要求的正则表达式，以及字段标识组合的正则表达式。