[发明专利]利用层叠泛化和代价敏感学习的社交网链路异常检测方法有效
申请号: | 202010873947.9 | 申请日: | 2020-08-26 |
公开(公告)号: | CN112073227B | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 刘小洋;叶舒;李祥;苗琛香 | 申请(专利权)人: | 重庆理工大学 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L12/26;G06N20/20;G06N3/08;G06Q50/00 |
代理公司: | 重庆天成卓越专利代理事务所(普通合伙) 50240 | 代理人: | 王宏松 |
地址: | 400054 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 利用 层叠 泛化 代价 敏感 学习 社交 网链路 异常 检测 方法 | ||
1.一种利用层叠泛化和代价敏感学习的社交网络链路异常检测方法,其特征在于,包括以下步骤:
S1,获取社交网络节点数据,将获取的社交网络节点数据中的相似性指标作为基模型学习的特征;
S2,确定基模型的超参数;基模型包括Logistic Regression模型和LightGBM模型;在LightGBM模型中包括:
对分割特征j的分割点d定义为:
其中,
I[]表示方差增益;
d表示特征分割点;表示分割点左边的方差增益,则表示分割点右边的;
xij表示第xi个样本的第j个特征;
o表示某个固定节点的训练集;
遍历每个特征的每个分割点,找到并计算最大的信息增益然后,将数据根据特征j*的分割点将数据分到左右子节点;
在基模型训练完成后,引入Stacking方法集成Logistic Regression模型和LightGBM模型;
S3,对基模型的预测结果进行重新学习;得到最终的预测结果;
S4,将步骤S3中的结果发送至手持式智能移动终端。
2.根据权利要求1所述的利用层叠泛化和代价敏感学习的社交网络链路异常检测方法,其特征在于,在步骤S1中Logistic Regression模型包括:
给定数据集D=(x1,y1),(x2,y2),(x3,y3),……,(xN,yN),其中,yi∈{0,1};当yi=0时,yi表示负类;当yi=1时,yi表示正类;i=1,2,3,…,N;表示样本特征空间,n表示各个样本的特征个数;N表示数据集D中样本的个数;
由于wTx+b取值是连续的,其中w表示列向量,维度为(n,1);T表示转置;x表示列向量,维度为(n,1);b表示列向量,维度为(1,1);因此它不能拟合离散变量,用它来拟合条件概率P(Y=1|x);但是对于w≠0,wTx+b取值为实数R,不满足概率取值为0到1,因此采用广义线性模型;
由于单位阶跃函数不可微,对数几率函数是一个典型的替代函数:
于是有:
若y为x取正例的概率,则1-y为x取反例的概率;两者比值称为几率odds,指该事件发生与不发生的概率比值,若事件发生的概率为P,则对数几率:
将y视为类后验概率估计,重写公式有:
也就是说,输出Y=1的对数几率是由输入x的线性函数表示的模型,这就是逻辑回归模型;当wT+b的值越接近正无穷,P(Y=1|x)概率值也就越接近1;因此逻辑回归的思路是,先拟合决策边界,再建立这个边界与分类的概率联系,从而得到了二分类情况下的概率;
逻辑回归模型的数学形式确定后,求解模型中的参数;在统计学中,使用极大似然估计法求解,即找到一组参数,使得在这组参数下,数据的似然度最大;令:
p(xi)表示第i个样本在已知特征为xi的情况下的为正类(Y=1)的概率;
yi就是二分类问题给定数据集D中的,即是yi=y1,y2,y3,...,yn,yi∈{0,1};
对等式两边同取对数,写成对数似然函数:
在机器学习中有损失函数的概念,其衡量的是模型预测错误的程度;取整个数据集上的平均对数似然损失,可以得到:
其中,N表示数据集D中样本的个数;
即在逻辑回归模型中,最大化似然函数和最小化损失函数是等价的;
求解逻辑回归的方法有非常多,这里使用梯度下降法;优化的目标是找到一个方向,参数朝这个方向移动之后使得损失函数的值能够减小,这个方向由一阶偏导或者二阶偏导各种组合求得;逻辑回归的损失函数是:
梯度下降是通过J(w)对w的一阶导数来找下降方向,并且以迭代的方式来更新参数,更新方式为:
表示第i个样本权重参数的第k次迭代更新后的权重参数;
α表示学习率,表示1次参数迭代更新的快慢;
表示第i个样本权重参数的第k+1次迭代更新后的权重参数;
wi表示第i个样本的权重参数。
3.根据权利要求1所述的利用层叠泛化和代价敏感学习的社交网络链路异常检测方法,其特征在于,在步骤S2中,确定基模型中超参数的方法包括交叉验证、网格搜索、早停法之一或者任意组合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆理工大学,未经重庆理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010873947.9/1.html,转载请声明来源钻瓜专利网。