[发明专利]一种云原生可观测性下的IT实体群组异常检测方法有效
申请号: | 202110478056.8 | 申请日: | 2021-04-30 |
公开(公告)号: | CN113190406B | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 宋祥雨 | 申请(专利权)人: | 上海爱数信息技术股份有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30 |
代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 翁惠瑜 |
地址: | 201112 上海市闵行*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 原生 观测 it 实体 异常 检测 方法 | ||
1.一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,所述IT实体群组包括配置或属性相同的多个IT实体,所述IT实体包括集群中的节点、应用或服务,所述方法包括:
1)获取IT实体群组在相同指标和时间段内的历史时间序列数据;
2)根据历史时间序列数据判断IT实体群组是否适用于群组异常检测,若是则执行步骤3),否则结束;
3)对历史时间序列数据进行数据压缩,并进行后向差分计算,获得后向差分矩阵;
4)根据后向差分矩阵,计算IT实体群组中每个IT实体与其它IT实体的距离;
5)根据步骤4)计算获得的距离,通过LOF步骤识别出异常IT实体;
6)以正常IT实体为基准,计算各个IT实体产生的异常点及其严重性;
步骤2)包括:
判断是否同时满足以下条件:
各个IT实体的指标数据的样本量不小于设定样本量;
所述的IT实体群组的IT实体数量不小于预设值;
若是则判定该IT实体群组适用于群组异常检测,否则不适用;
步骤5)包括:
计算IT实体的局部离群因子LOF,判断LOF是否大于局部离群因子设定阈值,若是则判定该IT实体为异常IT实体,否则判定该IT实体为正常IT实体;
步骤6)包括:
61)根据后向差分矩阵,以正常IT实体作为基准实体,识别每个时间点上IT实体的指标数据样本点与基准实体之间相差的标准差数量bias;
62)根据bias,通过预设严重性规则判定该指标数据样本点的严重性;
所述的严重性分为未知、正常和异常,所述的严重性规则包括:
621)判断IT实体的指标数据样本点原始值是否为-1或空值,若是则标记该指标数据样本点为未知样本点,否则执行步骤622);
622)判断bias是否不大于设定数量,若是则标记该指标数据样本点为正常样本点,否则标记该指标数据样本点为异常样本点。
2.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,通过PAA步骤对历史时间序列数据进行数据压缩,所述的PAA步骤包括:
根据历史时间序列数据中各指标数据的索引值进行平均划分,将指标数据分成n段,并取其中每段的非空值的平均值作为新数据,将每段索引值的开始值作为新数据的索引值,使得指标数据的长度压缩至n。
3.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,通过FastDTW步骤计算每个IT实体与其它IT实体的距离。
4.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,将IT实体视为样本点,所述的局部离群因子LOF的计算公式为:
其中,ρk(O)为点O的局部可达密度,ρk(P′)为Nk(O)内其他点的局部可达密度,Nk(O)为点O的第k距离邻域。
5.根据权利要求4所述的一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,Nk(O)满足:
Nk(O)={P′∈D\{O}|d(O,P′)≤dk(O)}
其中,dk(O)为点O的第k距离,dk(O)=d(O,P),P为距离点O最近的第k个点,满足如下条件:
在集合中至少存在k个点P′∈D\{O},使得d(O,P′)≤d(O,P);
在集合中至多存在k-1个点P′∈D\{O},使得d(O,P′)<d(O,P);
ρk(O)的计算公式为:
其中,dk(O,P′)为点P′到点O的第k可达距离,计算公式为:
dk(O,P′)=max{dk(O),d(O,P′)}。
6.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法,其特征在于,所述的标准差数量bias的计算公式具体为:
标准差不为空,且不为0时,
标准差不为空,为0,均值不为0时,
标准差不为空,为0,均值为0时,
其中,mean为基准实体的指标数据的非空均值,σ为基准实体的指标数据的非空标准差,default_mean为设定的基准实体指标数据的默认均值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海爱数信息技术股份有限公司,未经上海爱数信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110478056.8/1.html,转载请声明来源钻瓜专利网。