[发明专利]一种高维数据可视化聚类分析方法、电子设备及可读介质

说明书

本申请提供了一种高维数据可视化聚类分析方法、电子设备及可读介质，其中高维数据可视化聚类分析方法，包括以下步骤：获取测试数据集；提取测试数据集的高维向量，计算高维向量的联合分布概率；根据选择的降维数获得初始的低维向量，计算低维向量的联合分布概率；根据高维向量的联合分布概率和低维向量的联合分布概率，计算高维向量和低维向量交叉熵；根据交叉熵迭代更新低维向量，直至迭代达次数到预定的次数，或交叉熵收敛，终止迭代。根据更新得到的低维向量建立可视化视图。本申请实施例通过迭代更新获取最优的低维向量，能够提升类别数据间可视化显示时的区分度，以及提升相同类别数据可视化显示时的聚拢程度。

技术领域

本申请涉及声纹识别领域，具体涉及一种高维数据可视化聚类分析方法、电子设备及可读介质。

背景技术

可视化技术是一种重要的数据分析工具，其主要利用计算机图形学、图像处理、信号处理等方法来表达数据的内部结构、信息和知识，通过将高维数据转成维度不大于3的数据，然后绘制成图像进行展示，由高维转成低维时数据间的距离是一致的，这样人可以通过视觉快速分析数据间的关系，有利于模式识别、离群点检测等研究，例如在声纹识别技术的研究中，通过声纹识别模型提取的高维声纹特征，通过可视化分析后可直观地表示各语音数据的聚类关系。

现有的可视化分析方法有很多，目前效果最好的方法为t-sne和umap方法。这两种方法不需要有数据的先验信息，但由于其自适应核算法的关系，需要保证数据中每个类别要有足够多的数据量。然而当通过神经网络模型将数据处理后获取相应的高维特征数据，希望将数据可视化时，往往不能保证每类都有足够多的数据量，此时采用t-sne方法和umap方法的效果不佳。

发明内容

本申请的目的在于至少能解决上述现有技术中的技术问题之一。

第一方面，本申请的实施例提供了一种高维数据可视化聚类分析方法，所述方法包括以下步骤：

获取测试数据集；提取测试数据集的高维向量X，计算高维向量X的联合分布概率P；根据选择的降维数获得初始的低维向量Y，计算低维向量Y的联合分布概率Q；根据高维向量X的联合分布概率P和低维向量Y的联合分布概率Q，计算高维向量X和低维向量Y交叉熵CE；根据交叉熵CE迭代更新低维向量Y，直至迭代达次数到预定的次数，或交叉熵CE收敛，终止迭代；根据更新得到的低维向量Y建立可视化视图。

在一些实施例中，所述高维向量X的联合分布概率P的计算公式为：

其中：P_ij为高维向量x_i和高维向量x_j的联合分布概率，P_i|i＝0，为所有w的和，d(x_i,x_j)为高维向量x_i和高维向量x_j的距离，ρ_i＝min{d(x_i,x_j),δ|i≠j,d(x_i,x_j)＞d(x_i,x_i)},δ和σ为超参数。

在一些实施例中，超参数δ的选取方法包括：获取一组数据，统计同类间的d(x_i,x_j),取最大值或均值作为δ。

在一些实施例中，超参数σ的选取方法包括：获取一组数据，该数据包含多个类，根据选定好的δ，计算数据x_i和其他同类数据的距离，获取数据中所有相同类间的距离数组dist及该类总数量n，通过搜索算法查找最符合表达式并根据表达式确定超参数σ，其中m为该组数据中数据的总数。

在一些实施例中，所述低维向量Y的联合分布概率Q的计算公式为：

其中用于对联合分布概率Q进行归一化处理。