[发明专利]一种动态流式数据的聚类方法

摘要

本发明公开了一种动态流式数据的聚类方法，该方法包括以下步骤将结构化数据转化为时间字段流数据，随之时间字段排序后得到时间片求出并集；构建训练模型，对缺失数据构建HMM预测；检查数据有效性，对重复数据点新增时间片；剔除异常数据，根据全部时间片，检查是否存在波动异常的数据；质心数据聚类。本发明针对数据的特性进行了专项优化、针对缺失数据，使用HMM进行预测、针对同时间片中同一标识的重复数据进行处理，使本发明能够更准确的反应数据的时间变化特性、能够甄别异常数据、自动优化聚类类别个数、得到高质量的聚类结果。

主权项

一种动态流式数据的聚类方法，其特征在于，通过构建出时间片的概念，利用HMM进行预测得到理想的聚类结果，它包括以下步骤：S1：提取时间字段：提取流式数据集的时间字段，并将时间字段单独用结构存储，原有流式数据结构中不再含有时间字段；S2：构建时间片：根据时间字段数值，对每一个数据集按设定的排序规则进行排序，每一个数据集作为一个时间片，每个时间片内包含一个对应的数据集；S3：判定数据点：定位识别不同时间片上的每个数据，数据在任意时间片上允许缺失，但不存在重复；S4：时间片、数据求并集：每一个时间片下，包含整时间段的所有数据，如该数据点在该时间片下无对应数据，则标识出来等待后续进一步处理；S5：检查数据有效性：如果出现重复数据进行标记，对时间片进行增加副本形式，将数据处理为每个时间片没有重复；S6：剔除异常数据，针对全部时间片，检查是否有存在波动异常的异常数据，如存在则剔除该数据；S7：对数据求出质心：利用求质心计算公式，求出每一个数据在不同时间点下的所有数据的质心，并构建出新的数据集X；S8：聚类处理：根据不同的聚类数目，选择相应的聚类算法对新数据集X进行聚类处理，得到聚类结果。