[发明专利]一种日志数据可视化分析系统及方法在审
申请号: | 201611145645.X | 申请日: | 2016-12-13 |
公开(公告)号: | CN106777079A | 公开(公告)日: | 2017-05-31 |
发明(设计)人: | 赵亚明;张延礼;王毅 | 申请(专利权)人: | 苏州蜗牛数字科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京德崇智捷知识产权代理有限公司11467 | 代理人: | 王金双 |
地址: | 215000 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 数据 可视化 分析 系统 方法 | ||
1.一种日志数据可视化分析系统,包括,统一运维平台、线上服务器、日志集中服务器、hadoop集群,以及统一展示平台,其特征在于,
所述统一运维平台,其将各所述线上服务器配置为Minion服务器,并对各所述Minion服务器的服务状态进行检测和配置变更;
所述线上服务器,其根据所述统一运维平台的请求,将原始日志数据定时同步到所述日志集中服务器中;
所述日志集中服务器,其暂时储存压缩文本形式的原始日志数据;
hadoop集群,其对根据业务的特征制定相应的数据抽取、转换、载入与分析方案,将结构化的日志数据生成数据指标;
统一展示平台,将数据指标以界面形式进行监测。
2.根据权利要求1所述的日志数据可视化分析系统,其特征在于,所述统一运维平台进一步包括,Salt-Master服务器、运维图形用户界面及中间层,其中,
所述Salt-Master服务器,其将所述线上服务器配置为Minion服务器,并对其服务状态进行检测和配置变更;
所述运维图形用户界面,其以界面形式为运维人员提供系统监测;
所述中间层作为所述运维图形用户界面与所述Salt-Master服务器之间交换数据的通道。
3.根据权利要求2所述的日志数据可视化分析系统,其特征在于,所述Salt-Master服务器向所述Minion服务器发送定时日志提取请求,将原始日志数据定时同步到日志集中服务器中。
4.根据权利要求1所述的日志数据可视化分析系统,其特征在于,所述统一展示平台进一步包括,结果数据库、访客图形用户界面及数据访问层,其中,
所述结果数据库,其用于存储日志数据指标;
所述访客图形用户界面,其以界面形式为访客提供实时分布式系统监测;
所述数据访问层作为所述访客图形用户界面与所述结果数据库之间交换数据的通道。
5.一种日志数据可视化分析方法,包括以下步骤:
1)对配置为Minion服务器的线上服务器的服务状态进行检测和配置变更,并将原始日志数据定时同步到日志集中服务器中;
2)根据业务的特征对日志制定相应的数据抽取、转换、载入与分析方案;
3)对结构化的有效数据进行计算生成数据指标;
4)将数据指标以界面形式进行监测。
6.根据权利要求5所述的日志数据可视化分析方法,其特征在于,所述步骤1),是统一运维平台的Salt-Master服务器将所述线上服务器配置为Minion服务器,并对其进行检测和配置变更。
7.根据权利要求5所述的日志数据可视化分析方法,其特征在于,所述步骤2),是由hadoop集群根据业务的特征对日志制定相应的数据抽取、转换、载入与分析方案。
8.根据权利要求5所述的网络游戏业务状态监控方法,其特征在于,所述步骤3)是由hadoop集群对结构化的有效数据进行计算生成数据指标。
9.根据权利要求5所述的网络游戏业务状态监控方法,其特征在于,在所述步骤3)之前,还包括以下步骤:对日志数据进行抓取、转换、装载实现有效数据的结构化。
10.根据权利要求5所述的网络游戏业务状态监控方法,其特征在于,在所述步骤4)之前,还包括以下步骤:将数据指标上传到统一展示平台的结果数据库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州蜗牛数字科技股份有限公司,未经苏州蜗牛数字科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611145645.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置