[发明专利]相关双数据流异常检测与修正的方法

说明书

本发明公开了相关双数据流异常检测与修正的方法，属于工业过程建模和数据处理领域。本发明利用聚类分析与窗口匹配，实现了单输入数据流的异常点检测与修正。引入高斯过程回归(GPR)模型，建立输入‑输出数据流的预测模型，通过实时观察数据流与预测模型的输出进行窗口比较，进一步解决了输出数据流中的异常数据检测与修正。该方法不仅考虑了数据流的一般特征，还利用数据流间的相关性，解决了实际中不确定输入输出多数据流异常点难以正确检测和修正的问题。

技术领域

本发明涉及相关双数据流异常检测与修正的方法，属于工业过程建模和数据处理领域。

背景技术

离散的生产数据经过持续的采集，宏观上构成了数据流。这些实时采集的数据流，受测量精度、测量误差、噪声、周围环境干扰等诸多不确定性因素的影响，使得实际系统获得的数据流除了具有实时、连续、有序、快速到达等固有特点，还具有不确定性。例如在白酒酿造的生产监测过程中，需要测量蒸汽压力和蒸汽流量两类数据流，和一般测量过程类似，测量得到的数据流必然包含许多不确定性，形成了不确定数据流。但另一方面，蒸汽压力与蒸汽流量这两种不确定数据流，彼此之间又存在相关性。

一般，单数据流只需要克服单一数据流的不确定性问题，就可以进行数据流中异常点的检测；然而，相关的不确定多数据流，由于数据流之间存在相关性(如上述的蒸汽压力和蒸汽流量)，因此在对其的异常数据检测中，需要考虑数据流之间的相关性，增加了对数据流不确定性的辨识与校正的难度。(在不引起混淆的情况下，不确定数据流在本申请中简称为数据流。)

目前，对于单一数据流异常检测的方法，第一类是基于数据的统计分析特性：在方法实现上相对简单，易于执行，但由于以窗口统计特性代替数据本身，数据个体间的变化被封装在统计特征模式中加以表示，不能体现数据的个体变化，难以检测窗口内数据流的异常点。第二类是基于数据流分布特性的异常检测方法：根据数据分布特点建立分布模型，当实时到达的数据不符合分布模型时，则认为是异常数据，虽然这种方法检测准确率高，但实际应用中，很难确定数据流的分布形式，因此适用性不强。第三类是基于预测模型的数据流异常检测方法：通过建立预测模型，实现以在线模式、自适应的检测数据流异常点。上述常见的几类方法，可以实现对单数据流的异常检测，但均没有考虑数据流彼此之间的相关性，对数据不确定性的影响情况，而这一影响因素会拉低数据流在进行不确定性检测时的准确程度。

发明内容

鉴于以上分析，本发明针对具有输入与输出相关性的不确定多数据流检测问题，给出了一种具有输入与输出相关性的双数据流的异常检测与修正方法，尤其是用于白酒酿造过程中与蒸汽相关的双数据流的异常检测与修正的方法。本发明给出的方法，考虑了：数据流之间的相关性对数据流不确定性的影响，这将有助于提高数据流在进行不确定性检测时的准确程度。

本发明提供了一种具有输入与输出相关性的双数据流异常检测与修正的方法，可以有效检测出两类数据流中存在的不确定数据，并进行修正，修正后的数据有助于精准控制生产过程。比如，本发明方法用于白酒酿造中蒸汽相关双数据流异常检测与修正中，有助于精准控制蒸馏过程，提高酒品的质量与产量。本发明方法能够检测出白酒酿造中具有相关特性的蒸汽双数据流中存在的异常数据，并给出该异常数据的修正方法，本发明方法包含对数据流的离线处理过程和在线处理过程，在对数据在线处理过程可以完成对异常数据的修正。

本方法以时间序列建立索引号，聚类分析历史数据，生成索引号与两种相关数据流的簇中心集合的映射关系。一方面通过窗口匹配模式，实现对在线观测到的输入数据流进行异常检测与修正；另一方面，将修正后的输入数据流经高斯过程回归预测模型输出，与包含在线观测到的输出数据流在内的聚类输出数据流的簇集合进行窗口比较，辨识并修正输出数据流中的异常数据。从而，完成对相关双数据流的异常检测与修正。

本发明的具有输入与输出相关性的双数据流异常检测与修正的方法，包含对数据流的离线处理和在线处理2个过程：