[发明专利]一种异常检测方法和装置有效
申请号: | 201710496422.6 | 申请日: | 2017-06-26 |
公开(公告)号: | CN107291911B | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 宗志远 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/18;G06F11/30 |
代理公司: | 11319 北京润泽恒知识产权代理有限公司 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种异常检测方法和装置,涉及异常检测技术领域。所述方法包括:获取待检测的目标日志数据;利用预设的分类模型获取所述目标日志数据属于异常分类的第一概率;所述分类模型由多个已确定所属分类的访问样本数据训练得到;判断所述第一概率是否大于预设阈值;如果所述第一概率大于预设阈值,则确认所述目标日志数据异常。由此解决了现有的异常检测方法标注数据量大,标注成本高,参数敏感和线性不可分等技术问题。取得了降低标注数据量以及标注成本,提高检测性能的有益效果。 | ||
搜索关键词: | 一种 异常 检测 方法 装置 | ||
【主权项】:
1.一种异常检测方法,其特征在于,所述方法包括:/n获取待检测的目标日志数据;/n利用预设的分类模型获取所述目标日志数据属于异常分类的第一概率;所述分类模型由多个已确定所属分类的访问样本数据训练得到;/n判断所述第一概率是否大于预设阈值;/n如果所述第一概率大于预设阈值,则确认所述目标日志数据异常;/n其中,在所述利用预设的分类模型获取所述目标日志数据属于异常分类的第一概率的步骤之前,还包括:/n利用多个已确定所属分类的访问样本数据训练所述分类模型;/n其中,所述利用多个已确定所属分类的访问样本数据训练所述分类模型的步骤,包括:/n利用多个已知分类结果的访问样本数据构建训练样本集和测试样本集;其中各所访问样本数据的分类结果由预设的分类规则确定;/n以所述训练样本集中的各训练日志数据作为所述分类模型的输入,以相应训练日志数据的分类结果作为输出,训练所述分类模型;/n根据所述测试样本集中的各所述访问样本数据对训练后的分类模型进行优化处理,使所述分类模型的分类结果满足预设条件;/n其中,所述根据所述测试样本集中的各所述访问样本数据对训练后的分类模型进行优化处理,使所述分类模型的分类结果满足预设条件的步骤,包括:/n利用训练后的所述分类模型计算所述测试样本集中各所述访问样本数据的分类结果;/n计算利用训练后的所述分类模型对所述测试样本集中各所述访问样本数据进行分类的准确率;/n根据各所述访问样本数据的分类结果筛选出分类结果不达标的访问样本数据;/n根据调整后的分类规则,确定多个访问样本数据的分类结果为正常样本数据还是异常样本数据,然后进入利用多个已知分类结果的访问样本数据构建训练样本集和测试样本集;其中各所访问样本数据的分类结果由预设的分类规则确定的步骤,直至本次计算得到的准确率与前一次计算得到的准确率的差值小于预设差值;其中所述调整后的分类规则为根据所述分类结果不达标的访问样本数据对所述分类规则调整后得到。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710496422.6/,转载请声明来源钻瓜专利网。
- 上一篇:一种视频片段结构化查询方法、装置及电子设备
- 下一篇:投资人推荐方法和装置