[发明专利]一种基于多维数据图谱的故障根因定位方法及系统有效
申请号: | 202110711323.1 | 申请日: | 2021-06-25 |
公开(公告)号: | CN113360722B | 公开(公告)日: | 2022-08-09 |
发明(设计)人: | 丁锐;王晓光;徐育毅 | 申请(专利权)人: | 杭州优云软件有限公司;北京广通优云科技股份有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/28;G06F11/07 |
代理公司: | 杭州九洲专利事务所有限公司 33101 | 代理人: | 陈继亮 |
地址: | 311305 浙江省杭州市临安区青*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多维 数据 图谱 故障 定位 方法 系统 | ||
1.一种基于多维数据图谱的故障根因定位方法,其特征在于:首先将多种维度数据进行综合分析后构建多维数据图谱,每种维度数据表示为数据图谱中的一个节点,多维数据图谱的构建方法中包含有关键性的索引映射关系节点,针对不同维度的数据建立不同的存储索引,并将索引信息通过映射关系连接起来,构建成索引映射关系节点,后续基于多维数据图谱的故障根因定位算法会首先使用该索引映射关系节点;然后基于该多维数据图谱,通过多种故障根因定位算法模式,确保在某一种或几种数据维度缺失时,能够正常进行故障的根因定位分析;
所述多维数据包括:某业务系统运行的业务黄金指标数据,支撑该业务系统的CMDB业务架构数据,该业务系统内部不同节点所依赖的多种调用链数据,反映该业务系统中节点运行时硬件或软件状态的性能指标数据,基于该性能指标或业务黄金指标异常时所产生的告警数据,记录该业务系统中各节点运行时中间信息的日志数据;
所述多维数据图谱的构建方法是:首先使用多种不同数据库联合存储然后再建立索引映射关系节点的构建方法,对于日志数据,放置在ElasticSearch中单独建立一个索引来存储,而性能指标数据在ElasticSearch中单独建立一个索引来存储,告警数据存储在多种关系型数据库中或存储在多种非关系型数据库中,然后根据所存储的数据库类型,数据库地址,端口号建立每一个节点的数据映射关系,构建出索引映射关系节点,后续能够基于这些索引映射关系节点来快速检索和分析多维数据图谱;
所述的故障根因定位算法模式为:以业务某种指标为故障根因定位的入口,首先使用动态基线算法诊断某种指标,判断是否发生异常,如果某种指标异常,则判定发生了故障,在故障发生时,首先对调用链数据使用调用链异常检测算法,定位出是具体哪个节点发生了故障;定位到某一节点发生故障,则聚焦到该节点上,获取该节点的所有性能指标数据,使用指标异常检测算法判断哪些指标发生了异常;然后获取该节点的日志数据,使用日志异常检测算法来判断是否有日志发生异常,具体哪些日志异常;最后将汇总后的异常节点,异常指标,异常日志数据,异常指标对应的告警数据,异常日志对应的告警数据都保存到数据库中,前端页面获取这部分数据后展示;
在业务某种指标缺失的情况下,使用多维数据图谱进行故障根因定位,首先在业务某种指标缺失时,由于无法确定何时会发生故障,故而采用定时循环遍历调用链数据,来确定发生故障的具体时间和故障发生的节点位置;遍历时定位到某一节点发生故障,则聚焦到该节点上,获取该节点的所有性能指标数据,使用指标异常检测算法判断哪些指标发生了异常,然后获取该节点的日志数据,使用日志异常检测算法来判断是否有日志发生异常,具体哪些日志异常,最后将汇总后的异常节点,异常指标,异常日志数据,异常指标对应的告警数据,异常日志对应的告警数据都保存到数据库,起到对故障进行根因定位的效果。
2.根据权利要求1所述的基于多维数据图谱的故障根因定位方法,其特征在于:综合分析方法包括:对多维度数据进行实时采集并接入方法,包括从Kafka数据源接入实时数据,以Restful API的方式采集到的实时数据,对数据源轮询后得到的多种实时数据;对多维度数据进行相关性分析,相关性分析方法包括基于物理拓扑结构的相关性分析方法,基于数值波动相似性的相关性分析方法,基于业务逻辑关联的相关性分析方法;还包括对多维数据进行自动规范化分析方法,对某些有数据缺失的,采集数据不规范的,数据格式不统一的多维数据进行规范化的,统一的数据规范化分析。
3.根据权利要求1所述的基于多维数据图谱的故障根因定位方法,其特征在于:所述多维数据图谱的构建方法采用基于关系型数据库建立索引映射关系节点的构建方法,将多维度数据分别存储在不同数据表中,或存储到同一个数据表中,但以特殊字段来区分;然后针对不同表的地址和表名称,结合数据之间的对应关系,建立索引映射关系节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州优云软件有限公司;北京广通优云科技股份有限公司,未经杭州优云软件有限公司;北京广通优云科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110711323.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置