[发明专利]异常数据检测模型的构建方法、异常数据检测方法及系统

说明书

本发明提供了一种异常数据检测模型的构建方法、异常数据检测方法及系统，该构建方法利用无标记数据和携带异常标记的异常数据训练神经网络模型，以得到最终的异常数据检测模型。通过异常检测模型来检测海量数据中的异常数据，提高检测准确性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种异常数据检测模型的构建方法、异常数据检测方法及系统。

背景技术

异常数据检测任务旨在识别出与大多数数据对象存在明显偏差的数据对象，异常数据的检测可以用于检测网络攻击和检测信用卡异常交易等方面。

目前通常采用传统的异常数据检测算法(如LOF、iForest和SVDD等)来检测异常数据。但是由于数据维度灾难和计算复杂度高等原因，传统的异常数据检测方法无法准确从高维数据集和海量数据中检测出异常数据，检测准确性较差。

发明内容

有鉴于此，本发明实施例提供一种异常数据检测模型的构建方法、异常数据检测方法及系统，以解决传统的异常数据检测方法存在的检测准确性较差等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种异常数据检测模型的构建方法，所述方法包括：

从异常检测专用数据集中确定多个第一样本数据和多个第二样本数据，所述第一样本数据为无标记数据，所述第二样本数据为携带异常标记的异常数据；

对所述第二样本数据进行聚类以得到至少一个异常数据聚类中心；

对多个所述第一样本数据的分布进行先验估计，得到每个所述第一样本数据对应的隔离分数；

根据所述第一样本数据与各个所述异常数据聚类中心的距离，计算所述第一样本数据与所述第二样本数据的相似度，以得到所述第一样本数据的距离分数；

利用所述第一样本数据对应的所述隔离分数和所述距离分数，计算所述第一样本数据对应的先验异常分数；

基于多个所述第一样本数据对应的先验异常分数，确定先验异常分数平均值和先验异常分数标准差；

将所述先验异常分数平均值和所述先验异常分数标准差作为预设的神经网络模型的部分超参数，利用所述第一样本数据、所述第一样本数据对应的先验异常分数和所述第二样本数据训练所述神经网络模型，以得到最终的异常数据检测模型。

优选的，从异常检测专用数据集中确定多个第一样本数据和多个第二样本数据，包括：

抽取异常检测专用数据集中预设百分比的数据，以得到模型训练集，所述异常检测专用数据集中包含携带正常标记的正常数据和携带异常标记的异常数据；

根据所述模型训练集中正常数据的数量，确定噪声数量；

基于所述噪声数量，随机抽取所述模型训练集中的异常数据，并将随机抽取的所述异常数据随机划分为多组异常数据，每组异常数据包含两个异常数据；

对划分的每组异常数据进行预设维度的数据特征互换，以得到噪声数据；

将所述噪声数据与所述模型训练集中的正常数据进行随机混合，得到多个第一样本数据；

从所述模型训练集中随机抽取多个作为第二样本数据的异常数据。

优选的，对多个所述第一样本数据的分布进行先验估计，得到每个所述第一样本数据对应的隔离分数，包括：

利用孤立森林算法对多个所述第一样本数据的分布进行先验估计，得到每个所述第一样本数据对应的隔离分数。