[发明专利]特征数据处理方法和装置

说明书

本说明书实施例公开了一种特征数据处理方法和装置。该方法包括：确定样本集合的指定特征中的离群数据；对所述样本集合中的离群数据进行缩放处理得到缩放后样本集合，其中，所述离群数据缩放后的数据大于缩放前样本集合的指定特征中的非离群数据；对所述缩放后样本集合进行聚类处理；基于聚类处理后的多个簇，将所述缩放后样本集合在各个簇对应的指定特征区间中的指定特征数据分别进行归一化处理。

技术领域

本说明书实施例涉及数据处理领域，尤其涉及一种特征数据处理方法和装置。

背景技术

随着互联网的不断发展，用户在使用互联网过程中所产出的特征数据也越开越多，这些特征数据可被广泛使用并转换成有用的信息，比如，基于用户的基金购买金额、购买次数、板块浏览记录等特征数据得到用户访问忠诚度分值、用户价值分值或用户浏览板块粘性分值等。上述的评分分值能够给产品运营提供参考依据，也可以作为离散化数据用于模型训练。

对用户评分的过程中发现，很多特征数据，比如用户的基金购买金额等呈明显的长尾分布，即，大量的用户的购买金额都集中在头部一个很小的区间内，极少量用户的购买金额则远远大于平均数，这些极少量用户的购买金额则可以称为是离群数据。

现有技术对上述具有明显的长尾分布的特征数据进行归一化处理时，归一化后的特征数据的分布仍然是长尾分布，这就导致归一化后的特征数据都集中在非常小的取值范围内，使得归一化后的特征数据之间的区分度仍然非常小，无法对用户做出直观合理的评价。

发明内容

本说明书实施例提供一种特征数据处理方法和装置，用于解决因特征数据的长尾分布导致的归一化处理后的特征数据区分度小的问题。

本说明书实施例采用下述技术方案：

第一方面，提供了一种特征数据处理方法，包括：

确定样本集合的指定特征中的离群数据；

对所述样本集合中的离群数据进行缩放处理得到缩放后样本集合，其中，所述离群数据缩放后的数据大于缩放前样本集合的指定特征中的非离群数据；

对所述缩放后样本集合进行聚类处理；

基于聚类处理后的多个簇，将所述缩放后样本集合在各个簇对应的指定特征区间中的指定特征数据分别进行归一化处理。

第二方面，提供了一种特征数据处理装置，包括：

离群数据确定模块，确定样本集合的指定特征中的离群数据；

离群数据缩放模块，对所述样本集合中的离群数据进行缩放处理得到缩放后样本集合，其中，所述离群数据缩放后的数据大于缩放前样本集合的指定特征中的非离群数据；

聚合处理模块，对所述缩放后样本集合进行聚类处理；

归一化处理模块，基于聚类处理后的多个簇，将所述缩放后样本集合在各个簇对应的指定特征区间中的指定特征数据分别进行归一化处理。

第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下操作：

确定样本集合的指定特征中的离群数据；

对所述样本集合中的离群数据进行缩放处理得到缩放后样本集合，其中，所述离群数据缩放后的数据大于缩放前样本集合的指定特征中的非离群数据；

对所述缩放后样本集合进行聚类处理；

基于聚类处理后的多个簇，将所述缩放后样本集合在各个簇对应的指定特征区间中的指定特征数据分别进行归一化处理。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下操作：