[发明专利]一种分布式服务链追踪与日志聚合的方法

说明书

本发明涉及服务链路开发技术领域，特别涉及一种分布式服务链追踪与日志聚合的方法。本发明的方法将分布式追踪系统、日志分析系统进行整合，业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据，微聚合仅在两个系统接口层上再封装一个用户交互层，逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过追踪Id相互关联实现聚合。本发明方法实现了服务链与日志之间相互关联查找；可以用于分布式服务链追踪。

技术领域

本发明涉及服务链路开发技术领域，特别涉及一种分布式服务链追踪与日志聚合的方法。

背景技术

传统的单体应用，因其性能底、扩展难、代码臃肿、升级困难等因素，纷纷朝分布式、微服务化改造。将各个功能子模块纷纷从单体应用中解耦，确实也是目前解决传统应用的一种有效途径。但是微服务环境下，模块与模块之间、服务与服务之间均通过rpc、http等远程调用实现。当调用系统出现异常时，定位问题出处对运维来说，无疑是一种灾难。因此，迫切需要一种能够追踪组件、模块、子服务之间的调用情况进行追踪记录的系统，由此诞生了分布式服务链追踪系统。该类型系统可以说是当今软件系统纷纷微服务环境下不可或缺的运维利器。但是，目前分布式追踪系统存在以下几个方面的问题：

一、目前分布式追踪系统方案有很多成熟方案，如skywalking、pinpoint等。这些方案在追踪分布式服务调用链时都只局限于关注服务调用正常与否，得到的基本都是粗粒度信息，并且完全割裂服务链追踪与系统应用日志。然而，通常最详细的错误记录是应用系统本身日志记录。

二、目前，业界常采用的分布式服务链追踪系统与日志系统方式是将其看两个完全独立的系统，因此在定位异常时、经常需要频繁的在两个系统之间相互切换，这无疑增加了平台的日常维护成本。

三、通常是以分布式追踪系统为主体定位异常位置，辅之日志系统定位具体错误信息。该类方式，仅能通过调用链定位异常，而不能够通过异常日志定位调用链异常。

四、通过查看日志得出最终的异常信息极大的依赖运维人员的水平、经验，不存在标准化判断流程，这导致最终的异常的定位带来了极大的不确定性和运维成本。

如将分布式追踪系统与日志系统结合方式，能极大扩展追踪系统的功能，更加便于系统异常的定位。

发明内容

本发明解决的技术问题在于提供一种分布式服务链追踪与日志聚合的方法；逻辑上统一服务链追踪与应用系统日志，实现服务链与日志之间相互关联查找。

本发明解决上述技术问题的技术方案是：

所述的方法是在已有的分布式追踪系统中微聚合日志系统；即分布式追踪系统、日志分析系统进行整合，业务层为分布表示对应系统本身的业务逻辑，基础平台层表示支持业务层的基础功能模块，数据持久层存放系统配置数据、分布式系统追踪数据、日志系统收集的日志数据，微聚合仅在两个系统接口层上再封装一个用户交互层，逻辑上将分布式追踪系统与日志系统整合成一个系统，并通过追踪Id相互关联实现聚合。

所述的分布式追踪系统设有无侵入式日志采集代理插件，无侵入式日志采集插件通过在应用系统日志采集点埋点，将每一条日志采集并增加一个追踪ID唯一标识。

所述的日志分析系统包括有日志接收模块、基本日志检索模块、智能日志分析模块；

由日志接收模块专门负责接收分布式追踪系统中的无侵入式采集代理插件发送的带有追踪Id标识的日志，并将其送入日志处理模块，并最终存入日志数据库；

由基本日志检索模块作为日志检索引擎；

由智能日志分析模块使用基于开源的scikit-learn机器学习框架，通过对应用系统的历史异常日志信息作为样本数据进行挖掘，抽取异常的特性信息，构造异常决策树，对每条入库日志进行标签化处理。