[发明专利]用于电力计量微服务架构的日志监控系统及实现方法在审
申请号: | 201910760512.0 | 申请日: | 2019-08-16 |
公开(公告)号: | CN110633186A | 公开(公告)日: | 2019-12-31 |
发明(设计)人: | 周密;钱斌;赵云;蔡梓文;郑楷洪 | 申请(专利权)人: | 南方电网科学研究院有限责任公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30 |
代理公司: | 44245 广州市华学知识产权代理有限公司 | 代理人: | 李斌 |
地址: | 510530 广东省广州市萝岗区科*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 监控组件 存储 电力计量 日志 全文搜索引擎 搜索服务器 动态扩容 服务方式 服务架构 计量系统 架构模式 匹配电力 日志监控 日志系统 使用场景 数据分析 数据日志 插件式 多用户 可视化 封装 缩容 架构 部署 展示 分析 开发 | ||
1.一种用于电力计量微服务架构的日志监控系统,其特征在于,包括:
Elasticsearch监控组件、Logstash监控组件和Kibana监控组件;
所述Elasticsearch监控组件采用基于Lucene的搜索服务器,用于提供分布式多用户能力的全文搜索引擎,所述Logstash监控组件采用插件式架构,用于对电力计量数据日志进行收集、分析和存储,所述Kibana监控组件采用Web平台,用于为Elasticsearch监控组件提供数据分析和可视化;
针对Elasticsearch监控组件、Logstash监控组件、Kibana监控组件进行封装开发,匹配电力计量系统日志系统的架构模式。
2.根据权利要求1所述的用于电力计量微服务架构的日志监控系统,其特征在于,所述Elasticsearch组件中包含节点和集群节点、Index索引、分布式系统、RESTful支持、document文档、标识文档的id、field字段以及mapping映射。
3.根据权利要求1或2所述的用于电力计量微服务架构的日志监控系统,其特征在于,所述logstash监控组件包括日志数据发送组件、数据收集组件,数据写入组件。
4.一种用于电力计量微服务架构日志监控系统的实现方法,其特征在于,包括下述步骤:
计量系统日志Request生成及传递:计量系统各个微服务应用统一配置请求拦截器Filter,当拦截到http请求时,拦截器首先生成RequestID,接着收集应用的调用信息及用户信息并加密输出到日志中;
计量系统的日志采集:每个微服务应用服务器上都部署一个日志采集模块,用于采集各服务器上的应用日志,包括负载均衡和微服务网关接入层;
计量系统的日志缓存:将计量系统的日志转储在预设的redis组件内;
计量系统的日志处理:设置logstash indexer端从redis组件中读取日志数据,并进行过滤处理后存储到ElasticSearch组件中;
计量系统的日志存储:将计量系统日志存储在ElasticSearch组件中,并且采用集群方式部署ElasticSearch组件;
计量系统的日志展示;Kibana监控组件在ElasticSearch组件的索引中查找,进行数据交互,展示多种维度的日志表图。
5.根据权利要求4所述的用于电力计量微服务架构日志监控系统的实现方法,其特征在于,所述将计量系统的日志转储在预设的redis组件内的具体步骤为:
在redis中,数据统一缓存在key的自定义名字中,采用list数据类型作为日志采集的一个缓存区队列,所述list类型采用按照插入顺序排序的字符串链表,采用List的Push/Pop操作完成消息队列。
6.根据权利要求4所述的用于电力计量微服务架构日志监控系统的实现方法,其特征在于,所述计量系统的日志处理还包括数据格式转换步骤。
7.根据权利要求4所述的用于电力计量微服务架构日志监控系统的实现方法,其特征在于,所述将计量系统日志存储在ElasticSearch组件中,具体步骤为:
通过设置elasticsearch.yml的cluster.name定义集群名称,然后设置node.Name用于区别每个Elasticsearch组件的集群节点,所述ElasticSearch组件的集群节点分为两种类型:node.master和node.data;
node.master:当设置为true时,当前节点成为集群的管理节点,用于维护元数据,管理集群各个节点的状态;
node.data:当设置为true时,当前节点就成了数据节点,用于数据的存储、查询和导入。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南方电网科学研究院有限责任公司,未经南方电网科学研究院有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910760512.0/1.html,转载请声明来源钻瓜专利网。