[发明专利]检测异常样本的方法及装置有效
申请号: | 201910537775.5 | 申请日: | 2019-06-20 |
公开(公告)号: | CN110414555B | 公开(公告)日: | 2023-10-03 |
发明(设计)人: | 陆毅成;刘腾飞;陆逊;程羽 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F18/2411 | 分类号: | G06F18/2411;G06F18/2321 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 开曼群岛大开曼岛*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 检测 异常 样本 方法 装置 | ||
本说明书实施例提供一种计算机执行的检测异常样本的方法和装置。根据该方法,将待测样本集中任意的第一样本输入孤立森林模型,得到该第一样本经过孤立森林模型中各个孤立树的各条边的第一路径;根据该第一路径和线性评估函数,得到该第一样本的异常分数,其中线性评估函数基于权重向量和路径向量而确定。接着,根据待测样本集中各个样本的异常分数的排序,从中选出N个样本,并接收针对该N个样本进行标注的N个标签,标签示出对应样本是否为目标异常样本;于是,根据上述标签和预定形式的损失函数,更新权重向量,以使得更新后的线性评估函数用于检测异常样本。
技术领域
本说明书一个或多个实施例涉及计算机安全领域,尤其涉及检测异常样本的方法和装置。
背景技术
随着计算机技术的发展,安全性成为日益关注的问题,例如计算机数据的安全性,电子支付的交易安全性,网络访问的安全性,等等。为此,在许多场景下,需要从大量样本中发现有可能影响安全性的异常样本,并针对这些异常样本采取措施。
例如,希望从大量交易操作样本中发现异常交易操作,从而提前防范欺诈交易;希望从网络访问的样本中检测异常访问,从而发现不安全的访问,例如黑客攻击;希望从进行各种操作的用户账户中发现异常账户,从而锁定涉嫌进行高风险操作(欺诈交易、刷单等虚假交易、网络攻击)的账户;希望从大量权益领取操作(例如,领取营销红包、奖励金、优惠券等操作)中发现异常操作,从而防范恶意领取优惠权益的“黑产”操作,等等。
然而,在许多情况下,异常样本的标定非常耗费时间和人力,并且非常困难,这使得常规典型的有监督学习方法难以发挥作用。因此,提出了一些无监督的方式,例如聚类方法,孤立森林,等等,试图从大量样本中检测出异常样本。
通常来说,无监督方法检测出的异常样本,是统计意义上偏离多数常规样本的那些离群样本(outlier),却不一定是业务需要的真正的异常样本。因此,常规无监督方法检测出的结果,往往会发给分析师,进一步进行人工分析和筛选,而不能直接使用。
有鉴于此,希望能有改进的方案,可以对例如孤立森林模型进行改进和更新,从而更加有效、更有业务针对性地进行异常样本的检测。
发明内容
本说明书一个或多个实施例描述了通过孤立森林模型检测异常样本的方法和装置,其中通过样本标注和反馈来更新孤立森林模型,使得模型的异常检测结果更加准确而有针对性。
根据第一方面,提供了一种检测异常样本的方法,包括:
将待测样本集中任意的第一样本输入孤立森林模型,得到该第一样本对应的第一路径,其中,所述孤立森林模型包括多棵孤立树,每个孤立树包括用于对样本进行划分的多个节点和节点之间的多条边,所述第一路径为所述第一样本在各个孤立树中从根节点到叶节点经过的边的集合;
将所述第一路径输入所述孤立森林模型对应的线性评估函数,得到该第一样本的异常分数,其中所述线性评估函数基于权重向量和路径向量而确定,所述权重向量包括为每个孤立树的每条边赋予的权重,所述路径向量指示输入样本的路径中包含的各条边;
根据所述待测样本集中各个样本的异常分数的排序,从所述待测样本集中选择出N个样本,其中N为大于1的自然数;
接收针对所述N个样本进行标注的N个标签,所述标签示出对应样本是否为目标异常样本;
根据所述N个样本的N个标签和预定形式的损失函数,更新所述权重向量,以使得更新后的线性评估函数用于检测异常样本。
根据不同实施方式,上述第一样本可以为以下样本之一:权益领取操作样本,交易操作样本,用户样本。
根据一个实施例,通过以下方式选择上述N个样本:按照所述异常分数从大到小的顺序,对所述各个样本进行排序;根据所述排序,选择前N个样本作为所述N个样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910537775.5/2.html,转载请声明来源钻瓜专利网。