[发明专利]一种基于OCSVM-KNN算法的离群数据检测方法及装置

说明书

本发明涉及一种基于OCSVM‑KNN算法的离群数据检测方法及装置。该检测方法通过离群数据检测装置，在更靠近数据源头产生的数据感知层，对数据进行分析与预处理，在很大程度上提高实验室整体的数据分析处理能力，降低了对实验室控制系统中心节点的性能要求，节省实验室数据通信成本，使实验室具备分布式数据处理能力。本发明的检测装置对实验室中各实验设备网络通信数据进行分析，通过OCSVM‑KNN算法完成异常数据识别与数据筛选，提高实验室通信数据完整性、准确性、规范性，节省网络资源，提高实验室控制系统的控制效率。

技术领域

本发明涉及电测量设备检测相关领域，尤其涉及一种基于OCSVM-KNN算法的离群数据检测方法及装置。

背景技术

随着信息通信技术的快速发展，计算机技术、互联网技术逐步向各行业扩展应用，电测量设备检测实验室作为我国计量体系的重要组成环节，结合信息通信技术、计算机技术和互联网技术，建立互联互通的信息化检测实验室是未来的必然趋势。互联互通是指通过信息感知节点，按照约定的协议把终端设备(如传感器、执行器、嵌入式设备等)与互联网连接起来，进行信息交换与通信，以实现智能化识别、定位、跟踪、监控和管理的一种状态。先进技术的应用为信息通信开垦了一个新的沟通维度，但与此同时，实验室中各检测实验设备将产生大量的中间数据，这将很大程度上为实验室增加网络通信成本和系统控制的难度。

目前已有一些异常检测算法被提出，例如早期的基于统计的检测算法、基于距离的检测算法、基于密度的检测算法、基于神经网络的方法。在时序数据领域，异常检测的方法大部分都是基于模式识别与聚类进行异常检测，Schramm P等人提出了准确周期检测的非参数方法并引进了时间序列新的周期距离策略(Schramm P,Naroska E,Resch P,etal.A service gateway for networked sensor system.Pervasive Computing,IEEE,2004,3(1):66-74.)。相似地，Guinard D等人通过检测当前数据与预制数据模型之间是否存在较大差异，从而实现时序数据的异常检测(Guinard D,Trifa V.Towards the web ofthings:Web mashups for embedded devices[C]//Workshop on Mashups,EnterpriseMashups and Lightweight Composition on the Web(MEM 2009),in proceedings ofWWW(International World Wide Web Conferences),Madrid,Spain.2009:15.)。GuinardD等人后来引入了一个基于检测数据象征性版本的特定的重新排序策略(Guinard D,TrifaV,Wilde E.A resource oriented architecture for the web of things[C]//Internetof Things(IOT),2010.IEEE,2010:1-8.)。除了离线方法以外，还存在一些在线检测算法。Chandola V等人从多个时序数据生成了可理解的准确模型来进行异常检测(Chandola V,Banerjee A,Kumar V.Anomaly detection:A survey[J].ACM Computing Surveys(CSUR),2009,41(3):15.)。Knox E M等人利用时间序列位图来进行异常检测(Knox E M,Ng RT.Algorithms for mining distance_based outliers in large datasets[C]//Proceedings of the International Conference on Very Large Data Bases.1998:392-403.)。Hawkins D M等人设计了一个应用于大量遥感数据的新颖的异常检测系统(Hawkins D M.Identification of outliers[M].London:Chapman and Hall,1980.)，该系统主要利用相关向量的回归和数据的自回归进行异常检测。