[发明专利]基于弹性网络的序列集成高维数据异常检测系统及方法有效
申请号: | 201911076540.7 | 申请日: | 2019-11-06 |
公开(公告)号: | CN110941542B | 公开(公告)日: | 2023-08-25 |
发明(设计)人: | 陈南;钱偲书;张晶;张露维;宋轶慧;刘文意;陈晨;邵佳炜;李科心;李静 | 申请(专利权)人: | 国网上海市电力公司;南京航空航天大学;国家电网有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34 |
代理公司: | 北京中巡通大知识产权代理有限公司 11703 | 代理人: | 张弘 |
地址: | 200126 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 弹性 网络 序列 集成 数据 异常 检测 系统 方法 | ||
1.一种基于弹性网络的集成高维数据异常检测系统,其特征在于,该系统包括对应于高维数据中每一维度的单层系统和与所述每一维度的单层系统连接的总成集成模块;
所述单层系统包括:
数据模块,用于接收高维数据中每一维度的单层初始数据;
异常打分模块,第一输入端与所述数据模块连接,用于对所述单层初始数据进行第一次异常打分,获得所述单层初始数据中的异常得分向量;
选择模块,输入端与所述异常打分模块的第一输出端连接,用于根据所述异常得分向量对所述单层初始数据进行选择,获得异常数据集;
弹性网络模块,输入端与所述选择模块连接,输出端与所述异常打分模块的第二输入端连接,用于根据所述异常得分向量对所述异常数据集进行特征提取,生成特征向量和均方误差;
所述异常打分模块进一步用于对所述特征向量和所述均方误差进行第二次异常打分,获取分数异常的异常特征向量;
单层集成模块,与所述异常打分模块的第二输出端连接,用于对输出的均方误差和所述异常特征向量进行第一次集成,获得单层异常结果;
所述总成集成模块与所述每个单层系统的单层集成模块连接,对各单层系统输出的所述单层异常结果进行第二次集成,获得最终异常结果。
2.一种基于弹性网络的集成高维数据异常检测方法,其特征在于,该方法包括以下步骤:
接收高维数据中每一维度的单层初始数据,并对所述单层初始数据进行第一次异常打分,获得所述单层初始数据中的异常得分向量;
根据所述异常得分向量对所述单层初始数据进行选择,获得异常数据集;
根据所述异常得分向量对所述异常数据集进行特征提取,生成特征向量和均方误差;
根据所述特征向量和所述均方误差进行第二次异常打分,获取分数异常的异常特征向量;
对输出的所述均方误差和所述异常特征向量进行第一次集成,获得每个维度的单层异常结果;
对各维度的所述单层异常结果进行第二次集成,获得最终异常结果。
3.在权利要求2所述的基于弹性网络的集成高维数据异常检测方法,其特征在于,所述单层初始数据为,
其中,
其中,
4.如权利要求2所述的基于弹性网络的集成高维数据异常检测方法,其特征在于,所述第一次异常打分和/或第二次异常打分是基于隔离森林的方式,所述基于隔离森林的方式包括:采样、建立隔离树、计算路径长度、对路径长度归一化。
5.如权利要求2所述的基于弹性网络的集成高维数据异常检测方法,其特征在于,所述根据所述异常得分向量对所述单层初始数据进行选择,获得异常数据集,包括以下步骤:
计算所述异常得分向量的期望和方差;
根据所述期望和方差计算异常值候选函数;所述异常值候选函数为,且满足:
其中,为每层中选择模块设置的阈值;为方差的平方根;
根据所述期望和方差采用切比雪夫不等式对所述异常得分向量进行选择判断,判断结果,且满足:
其中,为任意足够小的正数,且满足;
根据所述判断结果对所述异常得分向量进行选择区分,生成异常数据集
。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网上海市电力公司;南京航空航天大学;国家电网有限公司,未经国网上海市电力公司;南京航空航天大学;国家电网有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911076540.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于多环境离线任务的版本发布方法及装置
- 下一篇:一种蜂胶用的提纯装置