[发明专利]一种基于改进的主动学习技术的电信欺诈分类检测方法

摘要

本发明公开了一种基于改进的主动学习技术的电信欺诈分类检测方法，涉及一种基于改进的主动学习技术的电信欺诈分类检测方法。抽取数量为X的数据划分训练集和测试集。从训练集中抽取样本作为初始训练集，其余为未标记样本。若当前训练集中正类与负类样本数量的比值不小于阈值e，训练有监督分类器f并构造强组合分类器F；将未标记样本逐个放入有监督分类器f中进行类别评分，得到类别评分结果，输入主动学习采样算法，得到信息量大小的评分。选取信息量最大的前D个进行标注，并加入训练集中；当前训练集样本数量大于等于X1，或者迭代次数大于等于C时结束，输出训练好的分类器f。本发明具有较强的稳定性和鲁棒性，实现较高的分类和检测效率。

主权项

1.一种基于改进的主动学习技术的电信欺诈分类检测方法，其特征在于，具体步骤如下：步骤一、收集电信网中某段时间内的呼叫详细数据，随机等概率抽取数量为X的数据作为样本，并划分训练集和测试集；训练集样本比例为A％，则训练集的样本总量为A％*X；测试集的样本总量为(1‑A％)*X；步骤二、从训练集中随机等概率抽取B％的样本进行人工标记，并将所有标记样本视为初始训练集，其余训练集样本视为未标记样本；步骤三、对初始训练集样本、未标记样本以及测试集样本分别进行数据清洗，并根据实际需要对每个样本均提取M维数据特征进行处理转换，用于后续机器学习模型输入；步骤四、初始化主动学习算法的迭代参数；步骤五、判断当前训练集中正类样本数量与负类样本数量的比值是否小于阈值e，如果是，则采用重采样技术SMOTE对样本进行调整，并返回步骤二；否则进入步骤六；当前训练集初始值选用初始训练集；步骤六、根据当前训练集中每个样本提取的数据特征，训练用于欺诈检测的有监督分类器f，以及构造用于问询样本可信类别概率的强组合分类器F；强组合分类器F的投票结果作为样本的潜在类别分布；步骤七、将未标记数据样本逐个放入训练好的有监督分类器f中进行类别评分；步骤八、将每个未标记样本的类别评分结果，分别输入主动学习采样算法，结合该样本被分错的概率和样本信息量大小，得到每个未标记样本关于其信息量大小的评分；第j个未标记样本的评分MISj，具体计算公式如下：x*表示的是当前未标记样本集合中信息量最大的数据样本集合，Pθ(yi|xj)表示强组合分类器F中的一个假设所预测的实例xj的类概率，Pes(yi|xj)表示强组合分类器F最终预测的xj的类概率大小，N代表强组合分类器F中的分类器个数。θ∈Θ代表一个假设所使用的参数集合，I(xj)是用来测量一个样本是否满足信息熵最大的指示器函数，取值为1或0；P(yi|xj)由用于欺诈检测的有监督分类器f预测的xj的类概率分布；如果第j个未标记样本根据公式获得分数等于x*，则I(xj)值为1，否则为0；MISj反映了第j个未标记样本被误分情况以及信息量大小的综合研判；步骤九、将所有评分值由大至小排序，选取信息量最大的前D个未标记样本进行标注，并加入训练集中；步骤十、判断当前训练集样本数量是否大于等于X1，或者迭代次数是否大于等于C，如果是，则主动学习采样算法停止，输出分类器f，进入步骤十一；否则，未标记样本数量减少D个样本，迭代次数增计一次，返回步骤五；步骤十一、使用训练好的分类器f在测试集上进行分类效果测试，对电信欺诈的呼叫数据进行分类。