[发明专利]一种金融电销场景中对负样本做消减的采样方法

说明书

本发明提供一种金融电销场景中对负样本做消减的采样方法，具体步骤为：从金融场景营销的数据获取客户结构化维度，将数据分为三个子集，分别占全量比为80％(A)，10％(V)，10％(T)；对A数据子集的正例集做聚类；计算在所有类边界外的V数据子集和T数据子集所有的正例个数和负例个数；计算V数据子集的正反例个数比：V_r；T数据子集的正反例个数比：T_r；并计算D_r＝|T_r‑V_r|；将T数据子集所有边界外的正/反例记录为S_w；对每一维度值为数字的重复上面的计算，累记每一维度的边界；将所有S_w联集为S_all，计算S_all中的正例个数，反例个数；假设原本分类器对T数据子集的AUC值为auc，计算新的AUC值AUC_new。本发明所提出的方法为非随机的，能准确的将多数的样例减少而同时控制少数的样例的减少，因此能同时保证AUC不下降。

技术领域

本发明属于机器学习里不平衡数据处理技术领域，具体涉及一种金融电销场景中对负样本做消减的采样方法。

背景技术

在金融电销场景里如：信用卡获客，客户流失预警，欺诈预警等机器学习任务中，数据集里正例和反例的数量不相等，数据集被视为非平衡的数据集。在这些场景里，有价值的正(或反)样本数量只是少数，其它反(或正)样例占大量的比例。这样的比例可能高达100:1或是100,000to 1，例如诈欺侦测领域的数据在电销领域里，例如保险的电销，成功的电销案例也都低于1％，这样样本数不均衡的情况，在机器学习里使得模型不容易学到侦测正确样例的能力。

在机器学习里，Receiver Operating Characteristic(ROC)曲线是一标准的衡量来评估分类器的优劣。ROC同时考虑了许方面，对True Positive Rate和False PositiveRates依照选定的阈值来绘制(Swets,J.(1988).Measuring the Accuracy of DiagnosticSystems.Science,240,1285–1293.)。而Area Under the Curve(AUC)是被公认的指标评估ROC和产生ROC的分类器的品质。

已往机器学习的领域里处理数据不平衡的场景所使用的方法有：

1)给正/反例不同的损失值，利用机器学习会偏向损失值小的一面的特性：也就是给数量大的一方较小的损失值，数量小的一方较大的损失值，学习过程中就会偏向数量小的一面学习否则损失就会急剧增加，如(Pazzani,M.,Merz,C.,Murphy,P.,Ali,K.,Hume,T.,Brunk,C.(1994).Reducing Misclassification Costs.In Proceedings of theEleventh International Conference on Machine Learning San Francisco,CA.MorganKauffmann)和(Domingos,P.(1999).Metacost:A General Method for MakingClassifiers Cost-sensitive.In Proceedings of the Fifth ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining,pp.155–164SanDiego,CA.ACM Press.)