[发明专利]高维数据集的数据可视化分析方法及装置

说明书

本发明公开了一种高维数据集的数据可视化分析方法及装置，属于数据分析领域。该高维数据集的数据可视化分析方法包括：获取n维数据集，n维数据集中包括训练集和测试集，训练集中训练数据点的总量大于测试集中测试数据点的总量，n≥2，n为整数；根据各个测试数据点生成各自对应的帕森窗；根据帕森窗计算各个测试数据点对应的概率密度，概率密度用于指示帕森窗内训练数据点的密集程度；根据各个测试数据点对应的概率密度确定n维数据集中数据点的分布情况。本发明实施例在不对n维数据集进行降维处理的前提下确定出数据集的数据分布，保证了数据分析过程的数据精度，避免了对数据集进行降维处理导致数据精度降低，影响数据分析准确性的问题。

技术领域

本发明实施例涉及数据分析领域，特别涉及一种高维数据集的数据可视化分析方法及装置。

背景技术

数据分析是一种从数据集中挖掘数据规律以及数据间关联关系的技术，而确定数据集的数据分布则是数据分析过程中所要解决的重要问题之一。

数据集通常具有多个维度，且不同的维度用于指示不同的属性或特征。比如，网站中注册用户的用户信息所构成的数据集包括性别、年龄、地域等不同维度。对于低维度的数据集，根据数据集中的数据绘制数据点集即可直观了解到数据的分布情况；但是对于高维度的数据集，则难以通过绘制数据点集的方式来确定数据的分布情况。现有技术中，为了实现数据分布可视化，当数据集的维度较高时，需要对数据集进行降维处理。其中，常见的降维处理方式包括低方差滤波、高方差滤波和反向特征消除等等。

在实现本发明实施例的过程中，发明人发现上述技术至少存在以下问题：

在对高维数据集进行降维的过程中，部分维度或部分维度下的数据会被精简，导致数据分析过程中所分析数据的精度降低，影响数据分析结果的准确性。

发明内容

为了解决现有技术中在对高维数据集进行降维的过程中，部分维度或部分维度下的数据会被精简，导致数据分析过程中所分析数据的精度降低，影响数据分析结果准确性的问题，本发明实施例提供了一种高维数据集的数据可视化分析方法及装置。所述技术方案如下：

根据本发明实施例的第一方面，提供一种高维数据集的数据可视化分析方法，该方法包括：

获取n维数据集，n维数据集中包括训练集和测试集，训练集中训练数据点的总量大于测试集中测试数据点的总量，n≥2，n为整数；

根据各个测试数据点生成各自对应的帕森窗；

根据帕森窗计算各个测试数据点对应的概率密度，概率密度用于指示帕森窗内训练数据点的密集程度；

根据各个测试数据点对应的概率密度确定n维数据集中数据点的分布情况。

根据本发明实施例的第二方面，提供一种高维数据集的数据可视化分析装置，该装置包括：

获取模块，用于获取n维数据集，n维数据集中包括训练集和测试集，训练集中训练数据点的总量大于测试集中测试数据点的总量，n≥2，n为整数；

生成模块，用于根据各个测试数据点生成各自对应的帕森窗；

计算模块，用于根据帕森窗计算各个测试数据点对应的概率密度，概率密度用于指示帕森窗内训练数据点的密集程度；

第一确定模块，用于根据各个测试数据点对应的概率密度确定n维数据集中数据点的分布情况。

本发明实施例提供的技术方案带来的有益效果是：