[发明专利]日志数据的归档方法及装置、存储介质、计算机设备

权利要求书

1.一种日志数据的归档方法，其特征在于，包括：

将日志采集工具部署在服务器设备上，启用所述日志采集工具，收集服务器设备中产生的日志数据；

定义所述日志数据输出至流处理平台，使用预先设置的分区字段将所述日志数据进行分区标记后写入至所述流处理平台的消息队列服务中，每个分区字段对应一个分区日志库；

将所述消息队列服务中的日志数据异步对接至不同消费组，以使得所述消费组内的消费者根据消费策略消费不同分区日志库中的日志数据；

响应于日志数据的归档请求，根据设定的日志归档方式对消费完成的日志数据进行归档处理。

2.根据权利要求1所述的方法，其特征在于，所述将日志采集工具部署在服务器设备上，启用所述日志采集工具，收集服务器设备中产生的日志数据，包括：

针对容器集群类型的服务器设备，将日志采集工具部署在容器集群节点上，启用所述日志采集工具，收集容器集群节点对应服务器设备中产生的日志数据；

针对物理机或者虚拟机类型的服务器设备，将日志采集工具部署在服务器设备上，启用所述日志采集工具，收集服务器设备中产生的日志数据。

3.根据权利要求1所述的方法，其特征在于，所述定义所述日志数据输出到流处理平台，使用预先设置的分区字段将所述日志数据进行分区标记后写入至所述流处理平台的消息队列服务中之前，所述方法还包括：

在收集服务器设备中产生的日志数据过程中，选取所述日志数据对应的文件属性信息作为日志标识，以输出携带有日志标识的日志数据。

4.根据权利要求3所述的方法，其特征在于，所述定义所述日志数据输出到流处理平台，使用预先设置的分区字段将所述日志数据进行分区标记后写入至所述流处理平台的消息队列服务中，包括：

定义所述日志数据输出到流处理平台，使用预先设置的分区字段与所述日志标识进行匹配；

若匹配成功，则将匹配成功的日志标识对应的日志数据写入至所述流处理平台的消息队列服务中，以使得消息队列服务根据所述分区字段将日志数据发送至相应的分区日志库中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在日志数据的输出过程中，利用部署在服务器设备上的传输代理节点对所述日志数据进行统一格式处理，以使得输出至所述流处理平台的日志数据具有统一的日志格式。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述将所述消息队列服务中的日志数据异步对接至不同消费组，以使得所述消费组内的消费者根据消费策略消费不同分区日志库中的日志数据，包括：

获取消费组内消费者的活跃程度和主题分区的数量动态，根据所述消费者的活跃程度和主体分区的动态数量，确定消费者对应消费日志数据的消费策略，所述消费策略包括消费分区范围以及消费分区标识；

按照所述消费分区范围将所述消息队列服务中相应分区日志库的日志数据分发至消费组内的消费者，以使得消费者根据所述消费分区标识执行日志数据的消费。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述响应于日志数据的归档请求，根据设定的日志归档方式对消费完成的日志数据进行归档处理之前，所述方法还包括：

针对所述消息队列中的日志数据，获取所述日志数据进行消费服务对应的服务场景，根据所述服务场景设定日志数据适合的日志归档方式；

若设定的日志归档方式为针对日志数据进行实时消费后归档，则所述根据设定的日志归档方式对消费完成的日志数据进行归档处理，包括：

将消费完成的日志数据发送至分布式搜索引擎，利用所述分布式搜索引擎对消费完成的日志数据进行分析，并根据分析得到的日志信息对日志数据进行归档处理；

若设定的日志归档方式为针对日志数据进行消费存储后归档，则所述根据设定的日志归档方式对消费完成的日志数据进行归档处理，包括：

将消费完成的日志数据按照时间维度形成文本压缩文件后临时保存至高速存储介质中，在预设时间间隔后将所述高速存储介质上的文本压缩文件传输至分布式文件存储服务器进行归档处理。