[发明专利]一种分布式系统日志全链路追踪方法及装置

说明书

本发明涉及一种分布式系统日志全链路追踪方法及装置。所述方法包括：S1，创建配置文件配置系统，按以下流程执行：配置集群服务器；配置集群依赖关系；配置数据逻辑关系；S2，通过应用程序读取并解析配置文件获取关键信息；S3，根据关键信息获取系统数据的生命历程。所述装置包括系统配置单元，信息获取单元和集群遍历单元。把数据日志全链路追踪抽象成三个配置文件，通过相应应用程序读取并解析这些配置文件即可获取每个集群对应的服务器信息、系统的上下游顺序和系统数据间逻辑关系这些关键信息，可以实现在无代码埋点，一键式获取一条系统数据的生命历程，并定位线上或者测试过程中遇到的问题。

技术领域

本发明涉及日志追踪系统领域，尤其涉及一种分布式系统日志全链路追踪方法及装置。

背景技术

现在的互联网公司有着大量的分布式服务器，每一个请求路由过来后，会经过多个业务系统并留下足迹，并产生许多DB的访问，但是这些分散的数据位于不同的服务器，由不同的开发组管理，对于问题排查，或是流程优化都帮助有限。一旦线上出现问题，就会出现所有涉及到的开发组加入到问题排查的队列，浪费宝贵的开发资源。如果有一套系统能准确定位到问题发生的时间，地点，将大大提高问题的解决效率，缩短线上问题的影响时间。追踪每个请求的完整调用链路，收集调用链路上每个服务的业务数据，定位数据发生异常的原因，也成为各个公司迫切需求。

当前众多公司使用ELK搭建日志管理平台，ELK包括ElasticSearch(数据存储、快速查询)、logstash(日志搜集)、kibana(展示ElasticSearch数据的图形界面)。kibana是一个图形界面，可以在上面条件检索存储在ElasticSearch(ES)里的数据，相当于提供了ES的可视化操作管理器。

目前有基于Elasticsearch搭建的日志追踪系统，其中需要用到日志传输工具，目前可用的传输工具有：Logstash、Filebeat、Fluentd、rsyslog、syslog-ng以及Logagent。基于logstash+Elasticsearch+kibana组合的日志分析系统。针对logstash，需要配置的包括：1、数据源2、定义数据格式3、输出配置(输出到elasticsearch)。以上配置将保存到logstash.conf，然后运行logstash，可以看到logstash可以自动查询IP的归属地，并将请求里面的device字段进行分析。针对Elasticsearch和kibana，所需要的配置有：1、Elasticsearch使用默认配置，配置名称为config/elasticsearch.yml。其中Elasticsearch默认监听在9200端口，可对其进行查询和管理。2、Kibana也不需要特殊配置，默认监听在5601端口。

Logstash的主要优点在于其灵活的配置，拥有多种可定制插件，比如：输入、过滤器、输出、从而可以获取丰富的数据并将其发送至目标进行存储。但同时logstash的劣势也非常明显，主要体现在一不能将跨系统数据相关联，二是不能定制一键查询，三是性能及资源消耗问题，在大数据量的时候速度会比较慢。所以在选用logstash的时候，需要考虑到服务器的性能。如果服务器性能比较差的时候，此时就需要一个轻量级的日志传输工具替代logstash。

经过上述的分析知，日志管理系统能够实现对不同服务日志的查询和记录，但不能快速和方便的获取加工和流转在各个系统的数据。

在代码中埋点，为流入下个系统的数据创建一个唯一的id的方案也能实现全链路的日志查询，但是该方案需要投入更多的人力物力，修改原有的代码，既影响系统的性能又有可能给系统引入新的问题。

发明内容