[发明专利]一种海洋在线监测数据的异常检测方法

说明书

本发明公开了一种海洋在线监测数据的异常检测方法，包括以下步骤：S1、对海洋历史监测数据进行点异常标注和序列异常标注，得到测试数据集；S2、基于测试数据集，通过测试分别选取阈值检测、均方差检测、突变点检测、加权移动平均拟合检测、Holt‑Winter拟合检测、孤立森林检测和加权异常分数的最优参数；S3、对海洋在线监测数据进行数据质量检测，并进行预处理；S4、采用已选取最优参数的阈值检测、均方差检测、突变点检测、加权移动平均拟合检测和Holt‑Winter拟合检测分别对预处理后的海洋在线监测数据进行点异常检测并标注；采用已选取最优参数的孤立森林检测对预处理后的海洋在线监测数据进行序列异常检测并标注；该方法可保障海洋在线监测数据的异常检测效果。

技术领域

本发明涉及海洋数据处理技术领域，具体的说是一种海洋在线监测数据的异常检测方法。

背景技术

海洋是我国经济社会发展的重要战略空间，是孕育新产业、引领新增长的重要领域，在国家经济社会发展全局中的地位和作用日益突出。随着海洋观测、模拟手段的快速提升和数据科学的重大突破，海洋观测呈现出多元化、立体化、实时化的特征，海洋监测数据的数据量不断攀升，数据类型更加丰富，时效性越来越强。

但在海流、海浪、航运、生物附着等复杂海洋环境因素的影响下，部分海洋监测仪器难以稳定运行，监测数据存在异常值多、异常模式多样、异常原因复杂等特点。而现有的异常检测方法通常只从单一角度对全局异常进行检测，且忽视了序列异常这一重要的异常类型，往往存在较多的误判和漏判，难以适应日渐提升的海洋监测数据质量控制需求。如何对大量在线监测数据进行异常检测以保证其效用是海洋数据挖掘领域面临的一大难题。

发明内容

本发明的目的在于提出了一种海洋在线监测数据的异常检测方法，该异常检测方法灵活易用，在处理多源异构的海洋在线监测数据时有明显的优势，能有效保障海洋监测数据的有效性和准确性。

为实现上述目的，本发明采用以下技术方案：

一种海洋在线监测数据的异常检测方法，包括以下步骤：

S1、对海洋历史监测数据进行点异常标注和序列异常标注，得到测试数据集；

S2、基于测试数据集，通过测试分别选取阈值检测、均方差检测、突变点检测、加权移动平均拟合检测、Holt-Winter拟合检测、孤立森林检测和加权异常分数的最优参数；

S3、对海洋在线监测数据进行数据质量检测，并进行预处理；

S4、采用已选取最优参数的阈值检测、均方差检测、突变点检测、加权移动平均拟合检测和Holt-Winter拟合检测分别对预处理后的海洋在线监测数据进行点异常检测并标注；采用已选取最优参数的孤立森林检测对预处理后的海洋在线监测数据进行序列异常检测并标注。

优选地，步骤S1中所述点异常标注为对与整个时间序列中的数据点或与相邻点相比出现的异常数值进行标注，点异常包括数值突变和超出阈值；所述序列异常标注为对时间序列中某一子序列与整个时间序列中的其他子序列或与相邻子序列相比出现的异常数值进行标注。

优选地，步骤S2中所述最优参数的优化过程为：

S21、获取步骤S1中已异常标注后的测试数据集；

S22、对于阈值检测、均方差检测、突变点检测、加权移动平均拟合检测、Holt-Winter拟合检测和孤立森林检测方法，分别计算各种检测方法选取不同参数时异常检测结果的TP、FN、FP、TN的个数，再计算准确率和召回率最终计算式中TP指实际结果异常与预测结果异常，FN指实际结果异常与预测结果正常，FP指实际结果正常与预测结果异常，TN指实际结果正常与预测结果正常，F1-Score指F1均衡分数；

S23、选取F1-Score最高时的参数为该异常检测方法的最终参数。

优选地，步骤S3的具体过程为：