[发明专利]基于批流统一数据聚类的风电机组异常检测方法

说明书

本发明涉及基于批流统一聚类模式的风电机组异常数据检测方法，将批量聚类和增量聚类结合。使用批量的聚类初始化方式，在首个时间窗口中初始化簇特征。后续窗口采用增量式的聚类方法，这样能够同时满足批量聚类的高精度以及流式聚类的低延迟等特点，可以持续处理大规模持续流入的风电机组群运行数据，并能较快地反映出异常数据所在设备。加入了基于流式迭代的簇特征更新机制。引入迭代流的思想，将风电机组数据簇特征创建成迭代流。进行流式的数据状态广播、双流连接计算，即将两个流式数据进行连接后计算。根据数据的最近簇进行分区，窗口定时更新每个分区的簇特征并将其返回到迭代流中。本发明保证了实时流处理低延迟的特性。

技术领域

本发明涉及风电机组异常检测领域，具体涉及一种基于批流统一数据聚类的风电机组异常检测方法。

背景技术

风能是一种环境友好且经济实用的可再生能源。中国是世界排名第一的风力发电国家、新装风力发电设备装机容量最大的国家，并且保持着持续的增长。因此，风电场数量和规模不断扩大，然而受地理条件和环境因素限制，风电场多位于偏僻遥远的平原、山区或海上，风电机组受设备、环境、运行状态等因素影响，系统实时采集的风机运行数据会存在有大量异常值和缺失值，这些数据的存在严重影响后续的风电机组状态分析、故障诊断等功能。因此，能够实时并快速地识别并排除风电机组的异常数据具有重要的探究意义。

随着计算机和物联网设备的普及,各类网络应用逐渐在泛化，由此产生了大量多源、异构的流式数据，包括大量保存在分布式文件系统的静态数据以及海量具有时效性的实时数据源。聚类作为一种无监督学习方法，可以对相似的数据进行聚类，从而挖掘数据隐藏价值。但大多数聚类只能处理单一类型的数据，无法适用于多元化的批量和流式数据。所以，如何有效统一处理批量的静态数据和实时的流式数据，如何实现满足批量、增量、流式的统一聚类算法，也是聚类的一个发展方向。

批量聚类算法主要解决批量数据的聚类问题，它将数据全部获取后再进行聚类分析。但由于内存大小、磁盘空间的限制，很多数据无法一次性获取。这样就出现了增量聚类算法，增量聚类算法能够对后来的数据进行增量式的计算更新，解决了传统聚类算法需要全量计算的缺陷。但随着社会发展，大量数据不断从网络、传感器以及网站点击等场景实时产生，数据时效性成为大数据非常重要的标签。为了适应实时产生的数据处理问题，出现了许多的流式聚类算法，典型代表包括基于层次的CluStream算法，基于网格密度的DenStream算法。流式聚类模型虽然设计了对流式数据快速处理的方法，但这无法有效的支持批量数据高精度的聚类分析。

发明内容

有鉴于此，本发明提供一种基于批流统一数据聚类的风电机组异常检测方法，应用于风电机组运行过程中产生的异常数据的检测，既能够通过批处理保证结果的准确性，又能够通过流式增量聚类来保证低延迟性。

为实现上述目的，本发明采用如下技术方案：

一种基于批流统一数据聚类的风电机组异常检测方法，包括以下步骤：

步骤S1：获取实时的风电机组数据，包括风电机运行时时间数据及传感器的记录数据；

步骤S2：将得到的风电机组数据划分为滑动时间窗口，每次处理一个时间窗口中的数据；

步骤S3：根据划分窗口预处理后的数据，初始化簇中心，提出融合了数据的批量处理和流式处理的批流统一聚类模型和簇特征更新机制，并在此基础上设计批流统一的聚类算法，以得到风电机组数据的批量和流式聚类结果；

步骤S4：对聚类生成的每个簇的大小进行判断，若簇内数据记录数小于预设阈值，则判断该簇为可能存在异常数据的簇，输出簇内数据记录，并将这些数据记录对应的风电机标记为可能存在异常的风电机，输出这些风电机的编号。

进一步的，所述风电机组批流数据为来自文件系统、消息队列、网络的多源数据，数据内容具体包括：数据记录时间及传感器记录的风速(m/s)、功率(kW)、转速(r/min)等。