[发明专利]一种基于聚类的多维流数据可视分析方法

说明书

本发明公开了一种基于聚类的多维流数据可视分析方法，该方法包括：1)接收多维流数据，对多维流数据进行数据聚类，将聚类结果存储至可视化数据库中；2)通过Web后端访问可视化数据库，得到需要可视化的数据信息，然后使用WebSocket将可视化信息发送至Web前端；3)在Web前端利用数据聚类的结果进行视觉聚类，使用平行坐标法进行多维流数据的动态加载。本发明从数据聚类出发，引入了时间衰减因子，从数据挖掘的角度探究多维流数据的内在结构；在数据聚类的基础上，利用平行坐标对多维流数据进行视觉聚类，使用贝塞尔曲线代替折线并进行视觉编码操作，从而对数据聚类结果进行有效地可视化表征，让用户更好地发现流数据中的潜在规律。

技术领域

本发明涉及数据挖掘和可视分析技术，尤其涉及一种基于聚类的多维流数据可视分析方法。

背景技术

随着物联网技术的飞速发展，产生了大量的多维流数据，如金融数据、图像数据、文本数据。相比于传统的静态数据，流数据具有如下特点：1)数据潜在大小是无限的；2)数据在线不断到达，需要实时处理；3)数据到达的顺序与数量每时每刻不同；4)除非可以保存，每条数据只能被处理一次。

这类数据复杂性更高、特点更难发现，且隐含的信息更加丰富。面对复杂繁多的数据，如何进行数据分析，能够发现信息背后深层的信息与规律，一直是困扰学术界的一大难题。采用可视化的方式可以使用户更直观、更高效的获取数据流中潜藏的、未知的、有价值的信息，发觉数据流中的内在模式，为管理者进行决策提供强有力的支持，多维数据的可视化技术有平行坐标，散点图矩阵，径向坐标等。对多维流数据进行可视分析，离不开人和计算机的相互协作。多维流数据的可视分析方法可以从两个维度展开。其一是以人为分析主体出发，强调符合人类认知的分析方法，这个维度的分析方法以交互式可视分析为代表；其二是从计算机角度出发，强调高性能的数据挖掘算法，例如数据聚类。结合流数据挖掘方法，提出一种基于聚类的多维流数据可视分析方法，能够帮助人们更直观、更高效地了解多维流数据内在结构和潜在规律，从而更好地发现有价值的信息，辅助人们进行决策。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于聚类的多维流数据可视分析方法。

本发明解决其技术问题所采用的技术方案是：一种基于聚类的多维流数据可视分析方法，该方法包括：

1)接收多维流数据，对多维流数据进行数据聚类，将聚类结果存储至可视化数据库中；

2)通过Web后端访问可视化数据库，得到需要可视化的数据信息，然后使用WebSocket将可视化信息发送至Web前端；

3)在Web前端利用数据聚类的结果进行视觉聚类，使用平行坐标法进行多维流数据的动态加载。

按上述方案，所述步骤1)多维流数据进行数据聚类的具体方法如下：

1.1)设流数据S是一个M维的数据集合，用表示，对应在时刻(T₁,…,T_k,…)到达。每一个对象都为M维数据：那么流数据可以表示为的无限集合，对于给定的微簇个数q，通过公式计算出对应的加权簇心C_ω,j；

其中，n为数据集的样本数量，ω_i为对象的权重，q为设置的微簇的数目，为数据点在t时刻的实时权重。

1.2)当流数据对象到达时，通过以下公式计算与各个微簇的加权距离D_x，并选择最小值min D_x，记对应的微簇为CMC(Current Micro Cluster)；

其中，M为数据集的维度，X_i^j为第i个对象第j个维度上的值。