[发明专利]一种多厂商缓存日志的分析方法

说明书

技术领域

本发明涉及日志分析领域，具体为一种多厂商缓存日志的分析方法。

背景技术

随着数据通信业务的迅猛增长，互联网网民数量急剧上升，流量逐年上涨。从目前的互联网应用发展情况来看，日常的热点应用主要集中在网页浏览、资源下载、流媒体视频点播等等，对于网络传输速度、服务端响应速度都有着较高的要求。随着业务规模的扩大、网民数量的上涨、市场竞争的加剧，运营商的基础资源架构、服务理念以及运营方式都面临着巨大的挑战。

为了加速网内网络资源建设的步伐，引入缓存系统已逐渐成为运营商内容网络建设运营的重要手段。为支撑缓存精细化运营的要求，运营商建立缓存日志分析系统，评估缓存系统运行状态及效能，解决精细化运营的相关问题，对开展内容网络运营工作，具有重要意义。但目前厂商提供的日志分析系统只能分析某一指定厂商的日志格式，无法对多厂商的缓存日志进行分析，使得运营商需要花更多的投资来让厂商开发多套针对多厂商的缓存日志分析系统，且开发周期较长。

在现有技术下，运营商通过自建缓存分析系统，实现从代维到自维的转变，但针对引入多家厂商的缓存系统，因为各家缓存日志格式不同，由缓存厂商提供的日志分析系统只能分析自家的日志格式，采用第三方的缓存分析系统可以指定适配多厂商的日志格式，但无法解决灵活增加适配某一指定厂商的日志格式。这是目前技术下存在的问题。

发明内容

本发明旨在克服以上缓存日志分析存在的问题，提供一种多厂商缓存日志的分析方法，通过缓存分析系统配置文件配置指定日志的关键字格式，分析程序通过分析配置文件识别不同日志格式。

为实现上述目的，本发明采用如下技术方案：

提供一种多厂商缓存日志的分析方法，所述分析方法通过配置文件配置指定日志的关键字格式，通过分析配置文件识别不同日志格式。

进一步的，所述分析方法具体包括以下步骤：首先，根据不同厂商缓存日志的记载格式配置相应的关键字识别逻辑，对关键字段生成配置文件；其次，找出待分析缓存日志文件中的关键字段；最后，采用生成的配置文件对缓存日志文件进行分析。

更进一步的，所述配置文件为：

包含数据字段名、起始字段位置、结束符、所忽略的空格个数、所忽略的反斜杠个数信息的关键字段。

在找出待分析缓存日志文件中的数据时，如果缺少所述配置文件中的关键字段则给该字段配置所述配置文件能够识别的固定信息。

进一步的，当某一关键字段同时占多个关键字段时，先按照正常配置对其进行标引，然后配置行后加上格式配置。

获得缓存日志后，根据配置文件对该缓存日志进行分析，具体步骤为：

1)确定缓存该缓存日志的厂商；

2)读取该厂商配置文件的配置信息，获取该厂商缓存日志的解析方法；

3)读取缓存日志的行数据，按照从前往后的顺序，按指定分隔符划分数据字段；

4)根据配置信息以及解析方法，在划分的数据字段中找到指定的字段信息，并做记录；

5)根据配置信息以及解析方法得到所取数据的结束位置，确定是否忽略空格和反斜杠，得到一个行数据的所有字段信息，继续读取下一行直到结束为止。

作为一种优选，在步骤3)之后，当解析到某个字段出现错误或者非法数据时，则忽略该行，直接读取下一行。

本发明具有如下创新：

本发明利用配置文件灵活定义缓存日志格式的方式，实现对多厂商缓存日志分析的支持，在系统部署后，不需进行二次定制开发，通过修改添加配置文件即可增加对某一厂商的日志格式分析支持。而不是缓存系统厂商提供的分析系统只能分析自家的缓存日志，或者第三方提供的分析系统需进行二次定制开发才能增加对多厂商的支持。与现有技术相比具有的优势如下：

1.节省二次开发费用，运营商增加对指定厂商的缓存日志分析支持，不需进行二次定制开发，可以节省项目成本。

2.灵活方便，通过简单的配置，即可实现新日志格式的支持，运营商可一次配置主流厂商的日志格式模版，节省多次配置的时间，提高工作效率。

3.上线周期短，现有技术进行二次开发的周期需以月为单位，并且系统需要重新部署安装，造成升级期间系统无法使用，本发明提供的方法通过定义配置文件，只需几分钟即可完成新业务的升级，并且不中断现网运行业务。

4.能够完成特殊信息配置要求，可根据需要配置运营商需要展示的字段信息，达到字段信息级别的定制需求。