[发明专利]基于随机抽样的聚类可视化方法及装置

说明书

本发明公开了一种基于随机抽样的聚类可视化方法及装置，该方法包括：计算每个特征在每次随机抽样和总体样本中的取值的概率分布的KL散度，并确定每个特征的KL散度的最大值；计算每个特征在每个所述聚类簇和总体样本中的取值的概率分布的KL散度；根据每个特征在每个所述聚类簇和总体样本中的取值的概率分布的KL散度以及所述每个特征的KL散度的最大值确定每个所述聚类簇中与总体样本分布不相似的特征；根据每个所述聚类簇中与总体样本分布不相似的特征对每个所述聚类簇进行可视化输出。本发明实现了减少可视化输出时特征数量，重点突出了与总体样本差异较大特征，便于数据分析人员对聚类结果进行分析。

技术领域

本发明涉及聚类可视化领域，具体而言，涉及一种基于随机抽样的聚类可视化方法及装置。

背景技术

聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。分组的目标是，组内对象相互之间是相似的(相关的)，而不同组中的对象是不同的(不相关的)。组内相似性越大，组间差距越大，说明聚类效果越好。聚类分析结果通常使用可视化图来展示。

现有的聚类可视化分析中，通常使用直方图、饼图、散点图等可视化技术分别展示聚类簇和总体各个特征的概率分布情况，需人工分辨簇中哪些特征与总体之间的差异较大，没有统一的标准来衡量。此外，现有的聚类可视化方法需将所有特征的分布都绘制出来，以供人工分析聚类簇与总体样本之间的差异，当样本特征数量比较大时必然导致可视化图中包含许多无用特征(根据实际经验，大多数聚类模型的执行结果中，聚类簇与总体样本之间在大部分特征上的分布并无明显差别)，增加了数据分析人员的负担。

发明内容

本发明为了解决上述技术问题中的至少一个，提供一种基于随机抽样的聚类可视化方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种基于随机抽样的聚类可视化方法，该方法包括：

获取总体样本中各特征的取值的概率分布；

对所述总体样本执行N次随机抽样，分别计算每次随机抽样中各特征的取值的概率分布；

根据总体样本中各特征的取值的概率分布以及每次随机抽样中各特征的取值的概率分布分别计算每个特征在每次随机抽样和总体样本中的取值的概率分布的KL散度，并确定每个特征的KL散度的最大值；

获取对所述总体样本进行聚类生成的聚类簇，分别针对每个所述聚类簇计算各特征的取值的概率分布；

根据每个所述聚类簇对应的各特征的取值的概率分布以及总体样本中各特征的取值的概率分布计算每个特征在每个所述聚类簇和总体样本中的取值的概率分布的KL散度；

根据每个特征在每个所述聚类簇和总体样本中的取值的概率分布的KL散度以及所述每个特征的KL散度的最大值确定每个所述聚类簇中与总体样本分布不相似的特征；

根据每个所述聚类簇中与总体样本分布不相似的特征对每个所述聚类簇进行可视化输出。

可选的，该方法还包括：

对所述总体样本中的所有连续型特征进行离散化处理，得到连续型特征的离散化取值。

可选的，根据每个特征在每个所述聚类簇和总体样本中的取值的概率分布的KL散度以及所述每个特征的KL散度的最大值确定每个所述聚类簇中与总体样本分布不相似的特征，具体包括：

判断每个所述聚类簇中每个特征的取值的概率分布和总体样本中该特征的取值的概率分布的KL散度是否大于或等于该特征的KL散度的最大值；

若是，则确定该聚类簇中的该特征为与总体样本分布不相似的特征。

可选的，所述根据每个所述聚类簇中与总体样本分布不相似的特征对每个所述聚类簇进行可视化输出，具体包括：