[发明专利]一种日志存储方法、装置及日志查询方法、装置

说明书

本发明实施例提供了一种日志存储方法、装置及日志查询方法、装置，所述日志存储方法应用于分布式系统中的业务节点，所述分布式系统还包括日志归集节点，所述方法包括：根据业务处理情况生成日志文件；按照预先建立的所述业务节点与所述日志归集节点之间的映射关系，将所述日志文件发送至对应的日志归集节点，以使所述日志归集节点存储所述日志文件，并针对所存储的日志文件建立索引。这样，在进行日志查询时，由于日志文件存储于日志归集节点，所以只需要在日志归集节点中进行日志查询，不会影响业务节点对正常业务的处理，同时由于不需要遍历分布式系统中的成千上万个节点，日志查询的效率得到大大提高。

技术领域

本发明涉及日志处理技术领域，特别是涉及一种日志存储方法、装置及日志查询方法、装置。

背景技术

随着大数据技术行业发展，大规模的集群化分布式系统成为大数据技术的基本构成。一个分布式系统往往由成千上万台业务设备组成，也就是说具有成千上万和业务节点，这些业务节点中计算机程序的运行日志是分布式的且数量非常大。由于日志可以记录计算机程序在运行时的情况，因此可以对日志进行分析以确定业务节点存在的一些问题，那么日志查询对于大规模的集群化分布式系统的运维是非常重要的。

目前对于分布式系统的日志查询是基于ansible自动化运维工具等批量操作指令，配合grep(Globally search a Regular Expression and Print)文本搜索工具等linux系统命令，在整个分布式系统中遍历所有业务节点的所有日志，进而找到所需要的日志。

由于上述日志查询方式是对整个分布式系统中的每个业务节点进行扫描遍历，扫描的过程需要消耗大量cpu(Central Processing Unit，中央处理器)和内存，影响正常业务的处理，同时日志查询效率很低，耗时往往是小时级的。

发明内容

本发明实施例的目的在于提供一种日志存储方法、装置及日志查询方法、装置，以避免影响正常业务的处理，提高日志查询效率。具体技术方案如下：

第一方面，本发明实施例提供了一种日志存储方法，所述方法应用于分布式系统中的业务节点，所述分布式系统还包括日志归集节点，所述方法包括：

根据业务处理情况生成日志文件；

按照预先建立的所述业务节点与所述日志归集节点之间的映射关系，将所述日志文件发送至对应的日志归集节点，以使所述日志归集节点存储所述日志文件，并针对所存储的日志文件建立索引。

可选的，所述根据业务处理情况生成日志文件的步骤，包括：

根据业务处理情况确定日志内容及日志名称；

将所述日志名称及所述业务节点的节点标识作为键，并将所述日志内容作为值，生成键值对结构的该业务节点的日志文件。

可选的，所述映射关系的建立方式，包括：

获取所述分布式系统中的业务节点以及所述日志归集节点的编号；

基于所述编号根据哈希算法，建立所述业务节点与所述日志归集节点之间的映射关系。

第二方面，本发明实施例提供了一种日志存储方法，所述方法应用于分布式系统中的日志归集节点，所述分布式系统还包括业务节点，所述方法包括：

接收所述业务节点发送的日志文件，其中，所述日志文件为所述业务节点根据业务处理情况生成，并按照预先建立的所述业务节点与所述日志归集节点之间的映射关系发送的；

存储所述日志文件，并针对所存储的日志文件建立索引。

可选的，所述针对所存储的日志文件建立索引的步骤，包括：

针对所存储的日志文件，按照预设时间间隔基于全文搜索引擎建立全文索引。