[发明专利]一种基于数据增强的分布外异常样本检测方法

说明书

本发明提出了一种基于数据增强的分布外异常样本检测方法。特征提取阶段，使用自动编码器算法的编码器部分，提取输入分布内样本的特征向量；数据增强和重建阶段，使用基于特征的数据增强方法对特征提取阶段提取到的特征进行变换，并使用自动编码器的解码器部分，从增强后的特征向量中生成数量充足且包含语义信息的辅助分布外异常样本数据集；样本标记阶段，将原始分类器对重建样本的预测准确度作为分布外异常样本的软标签值；分类器重训练阶段，联合包含硬标签监督信号的分布内训练数据集及包含软标签监督信号辅助分布外异常样本数据集，重新训练分类器；本发明改善了深度神经网络模型在预测分布外异常样本时的不确定性，提升了模型的安全性。

技术领域

本发明属于可信机器学习领域，尤其涉及一种基于数据增强的分布外异常样本检测方法。

背景技术

当机器学习分类器被应用于真实世界的任务中时，它们往往会失败当训练和测试数据集分布不同的时候。更糟糕的是，这些分类器经常安静地失败同时提供高度自信的预测，不幸地是，这些预测是不正确的。如果分类器不能指出它们可能出错的时间，就会限制它们的使用，甚至会导致严重的事故。例如，一个医学疾病诊断模型可能会始终如一地进行高度自信的分类，即使它应该标记出需要人工干预的困难样例。由此产生的未标记的错误诊断可能会阻碍机器学习技术在医学领域的未来发展。更普遍且重要的是，估计模型何时犯错对于人工智能安全而言是个至关重要的问题。

这些过度自信的预测经常产生自softmax层因为softmax层概率使用快速增长的指数函数计算。因此，对于softmax层输入微小的增加会带来输出分布上的巨大改变。因为softmax函数是指示函数的平滑近似，因此对于分布外样本而言很难看到一个均匀分布输出。

发明内容

本发明目的在于提供一种基于数据增强的分布外异常样本检测方法,以解决模型预测的不确定性和模型安全性低的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于数据增强的分布外异常样本检测方法，包括以下步骤：

步骤1、特征提取，使用自动编码器算法，提取输入分布内样本的特征向量；

步骤2、数据增强和重建，使用基于特征的数据增强方法对特征提取阶段提取到的特征进行变换，接着使用自动编码器的解码部分从增强后的特征向量中生成数量充足且包含语义信息的辅助分布外异常样本数据集，其中数量充足指的是特征向量所对应的软标签信息在输出空间分布均匀；

步骤3、样本标记，将原始分类器对重建样本的预测准确度作为分布外异常样本软标签值；

步骤4、分类器重训练，联合包含硬标签监督信号的分布内训练数据集及包含软标签监督信号的分布外异常样本数据集，重新训练分类器。

进一步的，步骤1包括以下步骤：

步骤1.1、将输入样本通过编码器映射到特征空间，得到抽象特征；

步骤1.2、将抽象特征映射回原始空间得到重构样本；

步骤1.3、通过最小化重构误差来同时优化编码器和解码器，得到最优的模型参数；

步骤1.4、输出针对样本输入的抽象特征表示。

进一步的，步骤2包括以下步骤：

步骤2.1、将样本的抽象特征表示对应到特征空间中的某点，按照欧氏距离找出该点的K个最近邻样本；

步骤2.2、对这K个样本和原始样本在特征空间进行线性插值，得到新样本的抽象特征表示；

步骤2.3、重复以上步骤，直到生成充足数量的抽象特征表示；

步骤2.4、根据增强后的抽象特征，利用原始抽象特征对应的自动编码器的解码器部分进行样本重建。