[发明专利]一种基于云原生的组件实现日志采集查询存储方法及系统

说明书

本发明提出了一种基于云原生的组件实现日志采集查询存储方法及系统，涉及日志查询领域。包括获取用户日志查询请求；响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；用户通过日志查询界面输入的查询条件。解决了可后台查询日志的技术难度，以及对服务器造成的压力问题。

技术领域

本发明涉及日志查询领域，具体而言，涉及一种基于云原生的组件实现日志采集查询存储方法及系统。

背景技术

目前，公司对产品生产问题的排查，大多是依靠运维人员在生产上发送命令查询分析，排查过程会对服务器造成较大压力，且对排查问题的人员的技术能力要求较高，造成生产问题的查询分析效率低下。现在百万级用户量的系统，如果后台存储日志采用集中存储，不但存储压力大，查询分析问题如海底捞针，而且日志文件过大会导致文件无法打开。因此，为了解决现有技术的问题，实现查询日志架构的生态化，组件轻量化，部署便捷，降低人工成本和运维成本，需要设计一种基于云原生的组件实现日志采集查询存储方法。

发明内容

本发明的目的在于提供一种基于云原生的组件实现日志采集查询存储方法，其能够实现查询日志架构的生态化和组件轻量化，部署便捷，降低了人工和运维成本，解决可后台查询日志的技术难度问题，以及对服务器造成的压力问题，便于研发及运维人员分析问题。

本发明的另一目的在于提供一种基于云原生的组件实现日志采集查询存储系统，其能够实现查询日志架构的生态化和组件轻量化，部署便捷，降低了人工和运维成本，解决可后台查询日志的技术难度问题，以及对服务器造成的压力问题，便于研发及运维人员分析问题。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于云原生的组件实现日志采集查询存储方法，其包括如下步骤，S1.获取用户日志查询请求；S2.响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；S3.将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；S4.将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；S5.用户通过日志查询界面输入的查询条件，并生成汇总数据；S6.根据上述查询条件，生成查询请求并发送至日志查询系统。

在本发明的一些实施例中，上述步骤S3中，日志数据用于存储包括entries、block、chunk和label解析。

在本发明的一些实施例中，上述步骤S3具体包括如下步骤：S3-1.1entries解析：a)每个entry均是一条单独的日志行；b)一个block包括一系列entries；S3-2.block解析：a)一个block包括多个entries；b)每个entries的元数据记录最小和最大的纳秒级时间戳以及偏移量；S3-3.chunk解析：a)chunk包括多个block，每个block均有唯一个checksum；S3-4.label解析：a)标签用于描述日志流的元数据，由key-value组成；b)每个标签的key和value组成一个流，任意一个标签的值变化均创建一个新流。

在本发明的一些实施例中，上述步骤S3还包括如下步骤：S3-5.采集json格式数据展示图。

在本发明的一些实施例中，上述步骤S4具体包括如下步骤：S4-1.利用ceph/minio的副本和纠删码机制；S4-2.采用多租户的形式。

在本发明的一些实施例中，上述步骤S5中，所有展示图均可自行调整，可控和可扩展。