[发明专利]一种基于曲线数据的异常检测方法及系统

说明书

本发明涉及一种基于曲线数据的异常检测方法及系统，具体包括以下步骤：步骤（1）：第一级异常检测；将曲线数据输入训练好的AE模型进行异常检测，获取瓶颈层的k维数据和实际输出数据，并利用损失函数计算实际输出数据的loss值；步骤（2）：第二级异常检测；将步骤（1）获得的瓶颈层的k维数据和loss值，作为（）维数据输入第二级异常检测器进行异常检测，输出异常值；当异常值大于预设的阈值，则判定进行检测的曲线数据为异常数据；所述第二级异常检测器采用常规的异常检测算法实现。本发明可以快速准确地检测出曲线数据中的异常数据。

技术领域

本发明是关于计算机技术领域，特别涉及一种基于曲线数据的异常检测方法及系统。

背景技术

集成电路设计测试技术迅速发展，很多测试手段，如可寻址测试方法，尤其是DenseArray，会快速产生大量的测试数据，在测试数据中很多是曲线数据，如MOS管的I-V曲线等。通常为了测量工艺参数变动(process variation)，需要测量大量同类的数据，因此测量会产生大量的I-V曲线等数据，但是其中有些数据是异常数据，产生异常数据的原因有很多，可能是在制造过程中产生了错误(mistake)，也可能是测试过程出现了测量偏差。

为了尽量避免由于这些原因再次产生错误，需要排查产生异常数据的原因，比如观察测试芯片上是否出现硬件的制造失误，检查测试算法是否存在软件的设计错误等；另外，在后续进行处理数据时，也应该将异常数据排除在外，以正常的数据为准。而这些测试产生的数据，混杂有异常数据和随工艺参数变动的正常数据，基于上述原因，首先需要在所有测得的数据中查找出异常数据，也就是要进行异常检测。

现行异常检测算法很多且很成熟，但是对曲线数据的针对性不强，这些检测算法大都对检测曲线数据的异常数据精度不高。目前常用的异常检测算法有下述几类：

1)基于临近的异常检测算法：LOF(local outlier factor)和CBLOF(cluster-based local outlier factor)是两个最经典的基于临近的异常检测算法，但是在处理曲线数据时，由于曲线数据的高维度特性，维度灾难(curse of dimensionality)使得距离不再能够作为精确检测异常的特征，另外，此类基于临近的算法忽略了每一维度数据间的相关性。同样地，KNN、ABOD等这些算法也同样存在缺陷。

2)基于数理统计的异常检测算法：HBOS(Histogram-based outlier score)和XBOS是基于数理统计的算法代表，其最大的问题同样是不能体现出每一维度数据间的相关性，而曲线数据最重要的特征就蕴藏在这相关性之中。

3)基于基本机器学习模型的异常检测算法：One-class SVM(OCSVM)和AutoEncoder(AE)是比较常见的基于基本机器学习模型的算法。其中，OCSVM与基于临近的异常检测算法类似，不能将每一维度数据联系。而AE通过神经网络结构，能将数据压缩到低维度又还原为原始数据，AE的神经网络具有全连接性，即考虑到了不同维度数据的相互关系。AE有两种判断是否为异常数据的方法：①将原始数据encode压缩的结果作为score，score异常的数据即为异常数据；②将最后恢复的loss作为score，score异常的数据即为异常数据；但由于异常数据所占总数据量的比例不确定，所以很难确定score的有效计算方式。

综上可知，目前还没有一种能针对曲线数据进行精确且高效的异常检测方法。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种结合异常检测模型和损失函数来针对曲线数据进行异常检测的方法及系统。为解决上述技术问题，本发明的解决方案是：

提供一种基于曲线数据的异常检测方法，具体包括下述步骤：

步骤(1)：第一级异常检测；