[发明专利]一种基于云原生的组件实现日志采集查询存储方法及系统

权利要求书

1.一种基于云原生的组件实现日志采集查询存储方法，其特征在于，包括如下步骤，

S1.获取用户日志查询请求；

S2.响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；

S3.将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；

S4.将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；

S5.用户通过日志查询界面输入的查询条件，并生成汇总数据；

S6.根据所述查询条件，生成查询请求并发送至日志查询系统。

2.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3中，日志数据用于存储包括entries、block、chunk和label解析。

3.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3具体包括如下步骤：

S3-1.1entries解析：

a)每个entry均是一条单独的日志行；

b)一个block包括一系列entries；

S3-2.block解析：

a)一个block包括多个entries；

b)每个entries的元数据记录最小和最大的纳秒级时间戳以及偏移量；

S3-3.chunk解析：

a)chunk包括多个block，每个block均有唯一个checksum；

S3-4.label解析：

a)标签用于描述日志流的元数据，由key-value组成；

b)每个标签的key和value组成一个流，任意一个标签的值变化均创建一个新流。

4.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S3还包括如下步骤：S3-5.采集json格式数据展示图。

5.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S4具体包括如下步骤：

S4-1.利用ceph/minio的副本和纠删码机制；

S4-2.采用多租户的形式。

6.如权利要求1所述的一种基于云原生的组件实现日志采集查询存储方法，其特征在于，步骤S5中，所有展示图均可自行调整，可控和可扩展。

7.一种基于云原生的组件实现日志采集查询存储系统，其特征在于，包括，

请求获取模块：获取用户日志查询请求；

请求响应模块：响应于用户日志查询请求，向多个端设备请求日志数据的采集，其中通过k8s部署容器组件；

格式转换模块：将多个端设备返回的日志数据转换为统一的数据格式，得到转换后的日志数据，存储结构包括多个流式标签；

日志推送模块：将转换后的日志数据中属于日志查询请求所请求的查询范围的数据，选择gzip、lz4和snappy三种压缩方式，并且将日志组件与存储组件分离，推送至请求端进行显示；

查询汇总模块：用户通过日志查询界面输入的查询条件，并生成汇总数据；

请求生成模块：根据所述查询条件，生成查询请求并发送至日志查询系统。