[发明专利]一种基于维度投影的多维数据相关性可视分析方法及系统

说明书

本发明公布了一种基于维度投影的多维数据相关性可视分析方法、系统及应用，属于数据分析与可视化技术领域。包括：建立KNN‑Pearson度量方法计算多维数据集中维度间相关性大小，通过矩阵将多维数据集进行形式化描述和操作，再对数据集维度间相关性进行定量计算，得到多维数据的维度相关性矩阵R；通过对数据维度进行投影展示数据维度之间相关性的可视化方法，将数据维度间相关性进行可视化。多维数据相关性可视分析系统包括：数据预处理模块、维度间相关性计算模块、维度间相关性的矩阵热图可视化模块、多维属性MDS投影模块、多视图可视化与交互模块；并应用于农药残留数据集的可视展示和分析。

技术领域

本发明涉及数据分析与可视化技术领域，尤其涉及一种基于维度投影的多维数据相关性可视分析方法、系统及应用。

背景技术

农药残留是导致食品安全问题的主要原因之一，每年各国政府都会对食品中的农药残留进行多次抽检和侦测，从而得到具有大量数据的农残侦测数据集，这个数据集具有多维属性，且各属性之间具有一定的关联，如何对这些数据进行有效的分析，尤其是相关性分析，找出各个属性之间的潜在关联，从而制定有效的监管措施，是一个亟待解决的问题。

当前对高维数据集中各属性间相关性的可视化技术主要涉及两种方法，它们分别为空间映射法和降维方法。空间映射法是将数据从抽象的高维空间映射到可视的2D空间，具体包括散点图矩阵、平行坐标和表格透镜等，但这类技术只能处理低于20维的数据。降维方法是通过降维从高维数据中提取有效信息，便于可视化。这类方法主要包括主成分分析、多维尺度分析等方法。然而这类方法的问题是用户对降维过程的控制很少，且降维后，原始维度信息会有所丢失。由此可以看出，对高维数据相关性的挖掘方法和可视化技术也都面临着诸多挑战。

因此，如何实现普通用户对多维数据的方便操作、并且实现对多维数据的关联分析成为目前亟待解决的技术问题。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于维度投影的多维数据相关性可视分析方法与系统。

本发明提出了一种基于维度投影的多维数据相关性可视分析方法，方法的核心包括了量化多维数据集中维度间相关性大小的度量方法KNN-Pearson和对数据维度进行投影展示数据维度之间相关性的可视化方法。该方法首先提出了一个量化多维数据集中维度间相关性大小的度量方法KNN-Pearson，通过矩阵将多维数据集进行形式化描述和操作，在此基础上对数据集维度间相关性进行定量计算。该度量方法通过数据集在某维度中某数据值处的密度定量地表示某维度对聚类的贡献度，并将其作为计算元素，通过皮尔逊相关系数计算各维度间的相关性大小，定量地表示各维度之间的相关程度。然后基于KNN-Pearson算法得到的维度间相关性大小，应用多维尺度算法(Multi-dimensional Scaling,MDS)对维度进行投影，用投影散点图和矩阵热图展示维度之间的相关性，用投影矩阵和平行坐标展示数据的分布态势和聚类特征，允许用户通过维度选择构造其感兴趣的子空间，在子空间中交互地分析数据、探索规律。根据上述基于维度投影的多维数据相关性可视分析方法，本发明还提供了一个基于维度投影的多维数据相关性可视分析系统，通过数据筛选、维度选择、尺度缩放以及多视图联动等交互手段，以实现对具有多维数据集中的多维属性间的相关性进行探索与分析。

本发明提供的技术方案如下：

一种基于维度投影的多维数据相关性可视分析方法，包括：

第一步，建立一个量化多维数据集中维度间相关性大小的度量方法KNN-Pearson，通过矩阵将多维数据集进行形式化描述和操作，在此基础上对数据集维度间相关性进行定量计算，得到多维数据的维度相关性矩阵R。

本发明对采用Pearson相关系数算法计算维度间相关性大小的方法进行了改进，提出了KNN-Pearson度量方法来计算维度间相关性大小，该方法包括如下步骤：

A.数据预处理，构造原始数据集的特征向量矩阵X,具体包括如下步骤: