[发明专利]一种基于生成对抗网络的困难异常样本检测框架

说明书

本发明公开了一种基于生成对抗网络的困难异常样本检测框架，解决了针对困难异常样本难以建立有效模型进行预测的问题，其技术方案要点是通过预处理数据，使用生成对抗网络，针对极度稀少的异常样本，学习到异常样本的分布，同时生成大量的异常和正常样本，利用这些生成的样本预训练一个分类模型，结合迁移学习的方法，使用真实数据对模型进行微调，最终得到所需分类模型以为困难异常样本检测提供支持，本发明的一种基于生成对抗网络的困难异常样本检测框架，可利用少量真实数据建立和训练异常检测模型，能进行微调后训练出工业可用的模型。

技术领域

本发明涉及困难异常样本检测，特别涉及一种基于生成对抗网络的困难异常样本检测框架。

背景技术

移动互联网是一柄双刃剑，在给人们生活带来便利的同时随之也带来了种种隐患，例如线上交易的支付平台可以让人足不出户的甚至随时随地的就可以进行购物以及支付，但是在线上交易也为欺诈者们提供了一定的庇护所，因为只需要远程操作就可以实施欺诈；并且在工业互联网的机械设备故障中，技术人员通常很难定位到具体的设备元器件，因此即使发生了故障，维修人员也需要经过多方排查才能真正定位到具体的元器件上。

在工业互联网的设备运行中，设备大部分都是出于正常运行状态的，异常出现的次数极少，但是一旦出现且没有及时处理就可能造成无法估量的损失，并且这种异常与正常的数据分布之间没有明显的界限，因此我们称这种异常检测为困难异常样本检测。在正样本与负样本数据极度不均衡的这种情况下，难以有效训练出一个可以针对困难异常样本检测的模型的问题亟需解决。

发明内容

本发明的目的是提供一种基于生成对抗网络的困难异常样本检测框架，可利用少量真实数据建立和训练异常检测模型，能进行微调后训练出工业可用的模型。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于生成对抗网络的困难异常样本检测框架，包括有以下步骤：

对原始数据进行预处理以转化进行模型计算；

建立生成对抗网络，建立有用于生成数据的生成模型、对真实数据和生成数据进行判别的第一判别模型、对生成数据中正常样本数据与异常样本数据进行判别的第二判别模型，并进行训练直至模型收敛；

预训练一个能学习到生成的数据中异常样本数据和正常样本数据分布的基模型，通过学习迁移法使用真实数据对基模型进行微调获得异常检测模型；

通过异常检测模型进行测试集数据预测并进行模型评估，通过异常检测模型进行真实数据的困难异常样本的检测分类。

综上所述，本发明具有以下有益效果：

在互联网金融和工业互联网的设备数据中，由于欺诈交易(异常)的少量特性，基于本方法可以利用这些少量的珍贵的欺诈样本作为“种子数据”，通过生成对抗网络来生成更多的欺诈数据，通过生成的数据建立和训练异常检测模型，然后通过迁移学习的方法，利用真实数据对模型进行微调，从而得到最终的异常检测模型，为后续的困难异常样本检测提供了新的研究思路。

附图说明

图1为本发明流程示意图；

图2为困难异常样本检测框架中数据生成流程示意图；

图3为基模型训练及异常检测模型获取的流程示意框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

根据一个或多个实施例，公开了一种基于生成对抗网络的困难异常样本检测框架，如图1所示，包括有以下步骤。

S1、对原始数据进行预处理，转化以进行模型计算。