[发明专利]一种基于LSTM的水处理时序数据异常检测方法

说明书

本发明公开了一种基于LSTM的水处理时序数据异常检测方法，包括获取时序数据序列并处理得到训练数据集；构建基于LSTM的无监督模型并训练得到时序数据异常检测模型；采用时序数据异常检测模型对待分析的水处理时序数据序列进行检测并完成时序数据的异常检测。本发明方法构建了无监督的基于LSTM的LSTM‑SVDD模型，并采用预处理后的数据集对模型进行训练，通过联合训练优化目标对LSTM‑SVDD模型进行参数调整，得到一个训练完好的模型，最后将得到的模型用于数据的异常检测；因此本发明方法能够实时监控数据并进行异常检测，而且可靠性高、准确性好且检测效果较好。

技术领域

本发明属于工业数据处理领域，具体涉及一种基于LSTM的水处理时序数据异常检测方法。

背景技术

随着经济技术的发展和物联网时代的到来，庞大的物联网及工业系统每天都会产生大量的时序数据。时间序列中的异常检测，是指在时间序列数据中找到与其周围表现异常的一个点或一段序列。真实情况下，异常点或异常序列一般代表着异常情况：非法交易、不正常心跳、系统故障或网络恶意攻击等。准确的异常检测可以触发及时的故障排除，从而保证系统的高效服务和工作。异常检测作为工业界服务器后台智能运维的重要组成部分，在各大公司都有着广泛应用。水处理是现代生产和生活中的重要保证，如何进行水处理过程中的时序数据异常检测，已经成为了人们研究的重点之一。

通过统计后台机器的关键指标信息，对构成的时序数据进行异常检测，可以极大降低运维成本。例如，腾讯自研的监测系统，采用统计、无监督、监督的方式对内部应用指标进行异常检测，以保证系统正常运行和降低运维成本；推特、雅虎、领英等知名互联网公司都有自己对应的开源的异常检测工具。与许多其他领域一样，上述领域的数据在大小和维度上增长迅速，因此需要高效的方法来检测大量高维数据中的异常。

然而，由于这些系统的动态复杂性，传统的基于阈值的异常检测方法具有一定局限性。一方面，基于监督的机器学习方法，由于缺乏标记数据而无法利用大量的样本数据。另一方面，无监督方法也无法很好的利用系统中变量之间的依赖关系：如单分类SVM(OC-SVM)以及核密度估计(KDE)等技术方案，需要设定固定长度的时间窗口来检查时间序列数据，因此其性能很大程度上依赖于时间窗口的大小。基于深度学习的方法中，LSTMs(长短期记忆网络)避免了由于使用跨时间的共享参数而需要指定一个时间窗口来考虑异常检测任务中的数据值的技术过程。该优点激发了LSTM网络在异常检测任务中的使用。然而，基于深度学习的方法依赖于基于重构误差的启发方法，通过对概率模型预测的误差设置阈值来检测异常，从而导致了优化问题的出现：如基于LSTM的异常检测算法，首先对时间序列数据进行预测，然后对误差进行多元高斯分布拟合，并选择该分布的阈值用于异常值检测，这大大降低了它们在实际应用中的性能。

发明内容

本发明的目的在于提供一种可靠性高、准确性好且检测效果较好的基于LSTM的水处理时序数据异常检测方法。

本发明提供的这种基于LSTM的水处理时序数据异常检测方法，包括如下步骤：

S1.获取用于训练模型的时序数据序列；

S2.对步骤S1获取的时序数据序列进行数据预处理操作，从而得到训练数据集；

S3.构建基于LSTM的无监督模型；

S4.采用步骤S2得到的训练数据集，对步骤S3构建的基于LSTM的无监督模型进行训练，从而得到时序数据异常检测模型；

S5.采用步骤S4得到的时序数据异常检测模型，对待分析的水处理时序数据序列进行检测，从而实现时序数据的异常检测。

步骤S2所述的对步骤S1获取的时序数据序列进行数据预处理操作，从而得到训练数据集，具体为采用如下步骤得到训练数据集：

A.获取时序数据序列；