[发明专利]日志库扩容方法、系统、计算机装置及可读存储介质在审
申请号: | 201811537206.2 | 申请日: | 2018-12-14 |
公开(公告)号: | CN109828960A | 公开(公告)日: | 2019-05-31 |
发明(设计)人: | 石晓龙;饶鑫;黄望 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/13;G06F16/16;G06F16/18 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 杨毅玲 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 扩容 日志系统 日志库 集群 预设 计算机装置 计算机可读存储介质 可读存储介质 集群创建 节点添加 流量统计 实时监测 吞吐能力 用户使用 算法 创建 调用 监测 服务 | ||
1.一种日志库扩容方法,其特征在于,所述方法包括:
创建一Kubernetes集群,其中所述Kubernetes集群独立于ELK日志系统的ES集群;
根据预设流量统计算法来获取所述ELK日志系统的当前日志流量;
判断所述获取得到的当前日志流量是否大于预设流量;及
当所述获取得到的当前日志流量大于预设流量时,调用所述Kubernetes集群创建ES-Data节点,并将创建的ES-Data节点添加至所述ES集群中,以增加所述ES集群的吞吐能力。
2.如权利要求1所述的日志库扩容方法,其特征在于,所述根据预设流量统计算法来获取所述ELK日志系统的当前日志流量的步骤包括:
获取ELK日志系统的日志数据,并将所述日志数据进行解析与转换成统一的日志格式;及
利用SQL语句提取以时间、IP地址为主字段的日志数据,并通过时间序列分析算法统计得到所述ELK日志系统的当前日志流量。
3.如权利要求1所述的日志库扩容方法,其特征在于,所述当所述获取得到的当前日志流量大于预设流量时,调用所述Kubernetes集群创建ES-Data节点的步骤包括:
获取所述ES集群中的每一ES-Data节点所占用的物理资源,其中所述物理资源包括CPU资源、内存资源及I/O资源;及
当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时和/或当所述获取得到的当前日志流量大于所述预设流量时,调用所述Kubernetes集群创建ES-Data节点。
4.如权利要求1所述的日志库扩容方法,其特征在于,所述当所述获取得到的当前日志流量大于预设流量时,调用所述Kubernetes集群创建ES-Data节点的步骤包括:
当所述获取得到的当前日志流量大于所述预设流量时,计算所述当前日志流量与所述预设流量的差值流量;及
根据所述差值流量调用所述Kubernetes集群创建一个或多个ES-Data节点,其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。
5.如权利要求1-4任意一项所述的日志库扩容方法,其特征在于,所述将创建的ES-Data节点添加至所述ES集群中的步骤包括:
在所述ES集群中建立Zen发现机制,并通过所述Zen发现机制将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。
6.如权利要求1或2所述的日志库扩容方法,其特征在于,所述将创建的ES-Data节点添加至所述ES集群中,以增加所述ES集群的吞吐能力的步骤之后还包括;
监测所述ELK日志系统的当前日志流量是否小于所述预设流量;及
当所述ELK日志系统的当前日志流量小于所述预设流量时,将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群,并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
7.如权利要求1或2所述的日志库扩容方法,其特征在于,所述将创建的ES-Data节点添加至所述ES集群中,以增加所述ES集群的吞吐能力的步骤之后还包括:
监测所述ELK日志系统的当前日志流量是否小于所述预设流量且持续时间是否大于一预设时间;及
当所述ELK日志系统的当前日志流量小于所述预设流量且持续时间大于所述预设时间时,将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群,并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811537206.2/1.html,转载请声明来源钻瓜专利网。