[发明专利]一种基于自编码和聚类结合的水质监测预警方法及系统

说明书

本发明公开了一种基于自编码和聚类结合的水质监测预警方法及系统，系统包括数据预处理单元、Autoencoder自编码单元、K‑Means聚类单元、报警单元；数据预处理单元，用于对采集到的数据进行降噪、剔除异常值、平滑以及标准化处理；Autoencoder自编码单元，用于根据预处理后的数据，建立Autoencoder自编码器对海量数据降维；K‑Means把降维后的数据根据相似性聚集到指定类簇中，每个类簇都有一个中心值；报警单元根据中心值确定预警状态水平，及时反馈，并给出相应显示。海量的数据会对分析造成很大的困扰，利用Autoencoder降低维数、K‑Mean聚类能够更快速的读取数据分析数据，解决了市面上冗余数据的困难。

技术领域

本发明属于物联网技术领域，具体涉及一种基于自编码和聚类结合的水质监测预警方法及系统。

背景技术

水质监测是监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势，评价水质状况，国水资源紧张、水污染治理形势严峻与国民经济持续增长、人民生活水平逐渐提高之间的矛盾日益凸显，水体污染、水资源短缺已经成为我国经济社会实现可持续发展的严重制约因素。水质监测对整个水环境保护、水污染控制以及维护水环境健康方面起着至关重要的作用。

水质的数据采集一般都是定点采集，需要大量的数据，利用Autoencoder自编码和聚类结合的方法对采集到的水质数据进行分析分类，将两者的优点结合在一起，用Autoencoder降维并初始化K-Means聚类的中心点，在对水质的分析上能够达到更快更准确的效果。

发明内容

为了使水质监测的结果更快更准确，参考价值更大，本发明提出了一种基于自编码和聚类结合的水质监测预警方法及系统，有效的提取数据样本的特征，把高维的样本数据特征降成低维从而更快的对水质的环境监测，并通过动态管理提高效率。

本发明的方法所采用的技术方案是：一种基于自编码和聚类结合的水质监测预警方法，其特征在于，包括以下步骤：

步骤1：对采集的水质数据进行预处理；

所述水质数据包括：含氧量、酸碱值、浊度、温度、电导率；所述预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

步骤2：将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

步骤3：把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

步骤4：把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

作为优选，步骤1中，所述缺失的数据修复处理是采用线性插值法进行修复。

作为优选，步骤2中所述将预处理后的水质数据进行降维处理，具体实现包括以下子步骤：

步骤2.1：数据样本在输入层通过激活函数映射到隐含层；

步骤2.2：隐藏层还原输入数据样本；

步骤2.3：重复步骤2.1和步骤2.2，得到输出的数据作为聚类算法的输入。

作为优选，步骤3中所述把降维处理后的数据进行K-Mean聚类，具体实现包括以下子步骤：

步骤3.1：任意指定数据样本中的s个对象作为中心点；

步骤3.2：计算当前数据和所有中心点的相似度；

步骤3.3：确定样本归属类别，当相似度不等于阈值则形成新类别；

步骤3.4：重新计算聚类后所得的中心点，重复步骤3.2～3.3直到每个类别不发生变化。