[发明专利]一种分布式日志处理方法、服务器、系统和计算设备

说明书

本发明公开了一种分布式日志处理方法，适于在配置服务器中执行，该方法包括步骤：接收用户在发布端浏览器中生成的注册软件参数，该注册软件参数至少包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径；确定注册软件参数所对应的日志采集器类型，计算该注册软件参数所对应的注册哈希值，并采用一致性哈希算法确定该注册哈希值所对应的消息队列集群和消息主题后生成配置文件；以及将配置文件发送给所述日志服务器IP地址，以便在对应的日志服务器中安装所确定类型的日志采集器，该日志采集器采集该注册软件的日志消息后发送至所确定的消息队列集群和消息主题。本发明还一并公开了对应的配置服务器和分布式日志处理系统。

技术领域

本发明涉及日志处理领域，尤其涉及一种分布式日志处理方法、服务器、系统和计算设备。

背景技术

随着IT企业内部和外部业务的迅猛增长，订阅软件实时滚动日志是系统运维工程师、软件开发工程师实时查看软件运行状况、排查故障、解决问题最直观和迫切需要的一种云端工具。此时，工程师一般需要先通过堡垒机进入虚拟机或者容器，再使用Linux命令查看软件日志，存在巨大安全隐患。而且，大型互联网企业内部的系统运维和业务开发隶属于不同团队，软件部署架构复杂，两个团队注定相互不清楚具体日志文件的保存位置，导致开发工程师难以查看系统日志和中间件日志，系统运维工程师难以查看应用日志。另外，这种方案对工程师的Linux命令使用门槛要求较高，尤其是面临海量日志查找时，往往会消耗大量时间才能定位并查找到日志中需要的信息。

另一种方式是采集器将采集的日志批量推送到Kafka集群，再通过Kafka Stream技术按业务需求分发到多个Kafka Topic上，之后用户按照业务需求通过Kafka客户端订阅对应的Kafka Topic。然而互联网企业的软件部署架构极其复杂，各个软件安装位置各不相同，软件日志路径也千差万别。该方案无法解决混合部署情况下各种软件的日志采集管理与日志路径的配置管理。软件安装部署和日志采集流程复杂且极容易出错，导致工作效率低下。而且，中大型互联网企业内部每天日志量都是以十亿、百亿为单位、上百T的日志存储量的规模不断增长的。该方式在海量日志面前，无法实现软件日志的秒级延迟的即时订阅。而且Kafka集群虽然可以处理海量日志供用户消费查阅，但当订阅者陡增时会导致主题碎片化和网络带宽打满，阻塞企业内部网络联通。最后，该方案会占用大量的存储资源，造成存储资源的浪费，不符合企业当下的节能减排和节约成本发展目标。

发明内容

鉴于上述问题，本发明提出了一种分布式日志处理方法、服务器、系统和计算设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供了一种分布式日志处理方法，适于在配置服务器中执行，该配置服务器分别与软件发布端和多个日志服务器通信连接，该日志服务器与多个消息队列集群通信连接，该方法包括步骤：接收用户在发布端浏览器中生成的注册软件参数，该注册软件参数至少包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径，其中部署类型包括虚拟机服务器和容器服务器，IP地址为用户在发布端浏览器中输入的虚拟机IP或者通过容器IP接口获取到的容器实例IP；确定注册软件参数所对应的日志采集器类型，计算该注册软件参数的字符串组合所对应的注册哈希值，并采用一致性哈希算法确定该注册哈希值所对应的消息队列集群和消息主题后生成配置文件；以及将配置文件发送给所述日志服务器IP地址，以便在对应的日志服务器中安装所确定类型的日志采集器，该日志采集器采集该注册软件的日志消息后发送至所确定的消息队列集群和消息主题。

可选地，在根据本发明的分布式日志处理方法中，还包括在订阅监听器中的订阅监听步骤：获取用户在订阅端浏览器中生成的订阅组合条件，所述订阅组合条件包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径；计算该订阅组合条件所对应的订阅哈希值，采用一致性哈希算法确定该订阅哈希值所对应的数据存储集群和数据存储通道，并将该数据存储集群和数据存储通道标记为被订阅。