[发明专利]基于数据分布均衡度的衡量方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术，揭露了一种基于数据分布均衡度的衡量方法，包括：获取衡量数据，对所述衡量数据进行筛选，得到待测枚举值数据；对所述待测枚举值数据进行聚类，得到多类枚举值数据；对所述枚举值数据进行类型匹配，得到枚举值类型以及所述枚举值类型对应的枚举值数值；根据所述枚举值数值计算所述枚举值类型对应的占比，根据所述枚举值类型生成均衡系数；对所述类别数、所述占比及所述均衡系数进行指标计算，得到所述待测数据的均衡度指标。本发明还提出一种基于数据分布均衡度的衡量装置、电子设备以及存储介质。本发明可以提高枚举值数据均衡度的衡量准确性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于数据分布均衡度的衡量方法、装置、电子设备及计算机可读存储介质。

背景技术

在数据标签开发的过程中，对于枚举值类型的数据标签，不均衡的取值会导致后续数据区分性差，当部分通过规则产生的枚举值取值过于不均衡时，需要评估预设规则的可行性，因此，枚举值类型的数据标签取值是数据开发的关键。衡量枚举值类型的数据标签的指标包括HHI(Herfindahl-Hirschman Index,赫芬达尔—赫希曼指数)以及方差等，但是现有的技术对于枚举值类型的数据标签的指标取值的上下界不能统一固定，受枚举值的个数影响；枚举值数据均衡度的衡量不够客观准确，在部分直观上均衡程度相近应用场景中，计算结果与实际分布情况差别较大。

综上所述，如何提高枚举值数据均衡度的衡量准确性成为一个亟待解决的技术问题。

发明内容

本发明提供一种基于数据分布均衡度的衡量方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决基于枚举值数据均衡度的衡量准确性较低的技术问题。

为实现上述目的，本发明提供的一种基于数据分布均衡度的衡量方法，包括：

获取衡量数据，对所述衡量数据进行筛选，得到待测枚举值数据；

对所述待测枚举值数据进行聚类，得到多类枚举值数据；

对所述枚举值数据进行类型匹配，得到枚举值类型以及所述枚举值类型对应的枚举值数值；

根据所述枚举值数值计算所述枚举值类型对应的占比，根据所述枚举值类型生成均衡系数；

对所述类别数、所述占比及所述均衡系数进行指标计算，得到所述待测数据的均衡度指标。

可选地，所述对所述待测枚举值数据进行聚类，得到多类枚举值数据，包括：

根据所述待测枚举值数据的属性确定所述待测枚举值数据对应的分类以及分类个数；

根据所述分类以及所述分类个数生成对应的聚类中心，利用所述待测枚举值数据的属性生成属性向量，并将所述属性向量作为所述聚类中心的中心向量；

对所述待测枚举值数据进行向量计算，得到数据向量，计算所述中心向量与所述数据向量之间的相似度；

根据所述相似度从所述聚类中心中确定目标聚类中心，并根据所述目标聚类中心确定所述待测枚举值数据的分类。

可选地，所述对所述衡量数据进行筛选，得到待测枚举值数据，包括：

获取所述衡量数据所对应的数据属性；

利用预设的需求属性从所述数据属性中提取目标数据属性；

利用所述目标数据属性从所述衡量数据中提取出待测枚举值数据。

可选地，所述对所述枚举值数据进行类型匹配，得到枚举值类型以及所述枚举值类型对应的枚举值数值，包括：

对所述枚举值数据进行记录，得到所述枚举值数据对应的类别指标，并将所述类别指标作为所述枚举值数据的枚举值类型；