[发明专利]一种基于近邻自编码器的近邻异常检测系统

说明书

本发明通过人工智能领域的方法，实现了一种基于近邻自编码器的近邻异常检测系统，系统设计针对KNN的降维‑检测框架，通过输入模块导入异常数据集，经过所述KNN的降维‑检测框架运算后，通过输出模块输出异常得分，系统由参数选择方案确定其系统参数，运行过程为首先通过KD‑tree计算每个数据点的近邻点组成的近邻集合，将近邻集合和原始数据输入基于神经网路结构设计的近邻自编码器进行降维计算，获得保持近邻关系的低维数据嵌入和每个点的重构误差，将数据嵌入和重构误差输入到K‑重构‑近邻检测器，得出异常分。系统可以充分适应检测器的特点与检测器紧密配合，有效避免了高维数据下检测器性能的下降。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于近邻自编码器的近邻异常检测系统。

背景技术

异常检测是在数据集中发现其行为与预期不正常的模式的过程。异常检测算法的应用背景包括：

信息安全系统：在许多计算机系统中，系统会记录许多数据，例如操作系统调用、网络流量或其他用户行为的不同类型的数据等。这些数据经常会由于恶意活动表现出异常特征。这种活动的识别被称为入侵检测。

信用卡欺诈：由于信用卡号码等敏感信息更容易被窃取，信用卡欺诈已经变得越来越普遍。在许多情况下，未经授权使用信用卡可能会表现出不同的模式，例如在特定地点疯狂购物或进行非常大的交易。这种模式可用于检测信用卡交易数据中的异常值。

传感器检测：在许多实际应用中，传感器通常用于跟踪各种环境和位置参数。潜在模式的突然变化可能代表一些值得关注的事件。事件检测是传感器网络领域的重要应用之一。传感器检测是异常检测的一种重要的时间序列检测应用。

医学诊断：在许多医学应用中，数据是从各种设备中收集的，如磁共振成像(MRI)扫描、正电子发射断层扫描(PET)扫描或心电图(ECG)时间序列。这些数据中不寻常的模式通常反映疾病状况。

法律领域：异常检测在法律领域中有许多应用，特别是在只有通过某种实体的多个动作才能发现不寻常模式的情况下。要确定金融交易、交易活动或保险索赔中的欺诈行为，通常需要识别犯罪实体行为产生的数据中的异常模式。

地球科学：大量关于天气模式、气候变化或土地覆盖模式的时空数据是通过卫星或遥感等各种机制收集的。这些数据中的异常现象为人类活动或可能是潜在原因的环境趋势提供了重要的信息。

在所有这些应用中，数据都有一个“正常”模型，异常被认为是偏离了这个正常模型。异常检测即检测此种偏离的数据挖掘技术这些意外的行为也被称为异常或异常值。异常检测在各种应用背景下都可以提供许多重要和关键的信息，例如信用卡盗窃或身份盗窃。根据大多数研究资料，异常点是指与其余数据有显著差异的数据点，Hawkins对异常的定义如下：“异常点是一种观察结果，它与其他观察结果的偏差如此之大，以至于引起怀疑，认为它是由不同的机制产生的。”当生成过程表现异常时，会导致异常值的产生。因此，异常值通常包含有关影响数据生成过程的系统和实体的异常特征的有用信息。识别这种不寻常的特征为不同背景下的数据分析提供了参考。

异常检测有广泛的应用领域，但在不同领域中的异常定义却包含相同的特征：检测出不满足数据集中大部分数据共同特征的数据。其分为经典检测方法和嵌入检测方法。

经典异常检测方法

经典异常检测方法可以分为统计方法、基于距离方法、基于密度方法、基于聚类方法、基于图的方法、基于集成(ensemble-based)的方法、基于深度学习的方法。如果按数据类型分类，则可以分为数值数据、类别数据、图像数据、文本数据、图数据、时序数据等。