[发明专利]一种用于污水异常检测的改进型层次聚类方法

说明书

本发明公开了一种一种用于污水异常检测的改进型层次聚类方法，本发明提供了一种应用于污水异常检测自动化监控的改进型层次聚类方法，结合机器学习中的网格聚类思想，通过LDA信息增益算法进行终止条件的判定，从而实现聚类的高效和精准，确定出数据的最佳聚类方案，通过对正常簇和异常簇的判别来确定污水处理中的异常。为了识别污水处理数据中的异常数据，应用了一种基于网格的改进型层次聚类算法进行数据异常的检测。算法使用网格聚类进行数据预处理，并采用LDA算法进行聚类最优的判定。网格聚类的结合提高了整体的聚类效率，同时凝聚型层次聚类保证了整个聚类过程的精准程度，基于LDA的信息增益算法作为聚类的终止条件，从而很好的解决了层次聚类算法中聚类效果不稳定的问，在投影后使得“类内方差最小，类间方差最大”。

技术领域

本发明涉及一种应用于污水处理工艺流程的异常检测方法，用于实现在污水处理过程中的异常检测。

背景技术

随着我国工业生产的快速发展和当代科技的不断进步，工业所产生的废水和城市中产生的生活污水的排放量正逐年增加，人为活动所造成的水体污染也越发地严重，如何提高污水处理工艺的处理效率和降低污水工艺的处理成本成为当下亟待解决的难题。当前，我国对污水处理厂的建设已经取得了较大的进展，环境污染问题也得到了相对的改善，但大部分的污水处理厂都存在这自动化水平不高、处理成本昂贵、能源消耗较大等问题。而在污水处理的过程中，工艺产生的故障不仅导致污水处理工艺的效率低下，影响工艺下的出水水质，同时也加大了污水处理的整体能耗，增加了污水处理工艺的成本和能源消耗。

当下我国在污水处理工艺中主要应用的是传统的故障诊断技术支持下的专家系统，该系统有着推理策略不灵活，需要人工干预，缺乏自学习能力，实时在线诊断性能差和自动化程度低下等问题，如今的污水处理工艺中，多维的数据仅用人工处理的方式很难进行有效的故障排查，从而使工艺检测中的检测效率降低和人工成本增加。因此很多工厂开始使用相关的机器学习算法进行污水的异常检测，其中用的比较多的是聚类算法和异常点的确定，在聚类算法中，使用较多的是传统的划分法、基于层次的聚类、基于密度的聚类、基于网格的聚类和基于模型聚类的方法。在污水异常的处理中，聚类算法如何能高效且便捷地将异常及时查找并排除成了污水异常检测中的重中之重。

污水处理过程是一个复杂的过程，其生产条件恶劣，随机干扰严重，工艺的数据有着数据量大、维度高、非线性、耦合性强的特点，其处理过程则有强非线性、强耦合、大时变、多工况等特点，生化需氧量(BOD)、化学需氧量(COD)、总氮(TN)和总磷(TP)等是衡量污水处理效果的决定性参数和指标。在不同的季节不同温度下或者是一天内不同的时间段，都会给一些相关的参数数据带来不确定的影响，PH值、流量、氨氮浓度、COD、悬浮固体浓度、溶解氧浓度、ORP、转速等都在整个污水的处理中起着关键性的作用。

异常检测的目的是为污水处理过程的异常提供检测的手段，使得能够采取正确的措施尽快恢复正常，从而减少污水处理中的能耗损失，加强污水处理工艺流程中的自动化性能。故障状态表现为个别状态，因此从PLC中采集的数据点，其包含的正常状态的数目要远大于故障状态的数目，且正常状态的数据点具有“抱团”性质，因此使用机器学习中的聚类算法进行正常数据点和异常数据点的分离，从而发现数据集中的异常数据及其相对应的故障状态，能够更好地对污水工艺中的故障进行处理，保证污水处理中的能源利用率，节约工艺成本开销。

本发明基于改进型层次聚类方法来对污水的异常进行检测和故障排除，为了识别污水处理数据中的异常数据，应用了一种基于网格的改进型层次聚类算法进行数据异常的检测。算法使用网格聚类进行数据预处理，并使用层次聚类的方法对数据点进行再聚类，通过LDA算法构造损失函数对相关数据集进行聚类最优的判定，可以用于污水处理的异常检测，实现污水处理中异常的高效监控和排除，以达到节约成本和智能化的处理效果。

发明内容

(1)解决的技术问题