[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开实施例公开了一种数据处理方法、装置、电子设备及计算机可读存储介质，包括：获取样本数据、样本数据的分布信息和目标数据，根据目标数据，对样本数据进行分段，得到至少两段样本数据；根据样本数据的分布信息，从至少两段样本数据中确定出异常数据所属的目标段样本数据；将目标段样本数据按照预设分位数进行切分，得到预设分位数个目标子样本数据区间，对每个目标子样本数据区间中的数据分别进行归一化处理后，进行差异化数据处理，并与非目标段样本数据组合，得到最终样本数据，非目标段样本数据为至少两段样本数据中除目标段样本数据之外的其他段样本数据。该方案能够保证数据之间的区分度与均匀性，从而可以提高预测结果的准确性。

技术领域

本公开涉及互联网技术领域，具体涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，采用电商平台用户群体的各种业务行为与身份特征来进行价值预测，便于运营的精细化管理。例如，对某一类产品进行可以销量预测，便于物料的提前准备，从而达到节省成本、增大收益的目的等等。一般采用机器学习实现价值预测，在机器学习领域，训练预测模型时需要使用到样本数据，样本数据的选取直接影响到预测模型的优劣。针对样本数据，常采用均值最优，作为拟合的评判标准，而均值最优是通过最小二乘来实现，最小二乘等价于误差服从高斯分布的最大似然估计，因此，当误差不是服从高斯分布，会因为不属于高斯分布数据点(例如长尾数据、离群数据等)致使样本数据的拟合效果变差，因此在回归问题中要处理一些长尾数据；在传统的规则上，通常会利用加权求和的形式来得出最终的样本数据，而在加权求和中常对一些数据做放缩，来消除不同特征之间的量纲的影响，而长尾数据、离群点又影响数据放缩的结果。因此无论在机器学习领域还是传统规则上都需要对长尾数据进行加工，使最终的样本数据满足业务预期。

目前采用的归一化方式容易受到长尾数据等异常数据的影响而导致预测结果的分布不均衡，或者针对长尾数据等处理没有差异性，导致了预测结果的不准确等问题。

发明内容

本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

获取样本数据、样本数据的分布信息和目标数据，根据所述目标数据，对所述样本数据进行分段，得到至少两段样本数据；

根据所述样本数据的分布信息，从所述至少两段样本数据中确定出异常数据所属的目标段样本数据；

将所述目标段样本数据按照预设分位数进行切分，得到预设分位数个目标子样本数据区间，对每个目标子样本数据区间中的数据分别进行归一化处理后，进行差异化数据处理，并与非目标段样本数据组合，得到最终样本数据，所述非目标段样本数据为所述至少两段样本数据中除所述目标段样本数据之外的其他段样本数据。

结合第一方面，本公开在第一方面的第一种实现方式中，所述根据所述目标数据和所述样本数据的分布信息，对所述样本数据进行分段，得到至少两段样本数据，包括：

根据所述目标数据，对所述样本数据进行分段，得到N段样本数据，并为所述N段样本数据分配N个系数，其中，N为大于等于2的正整数；

根据所述N段样本数据中的第i段样本数据和对应的所述N个系数中的第i个系数，对所述第i段样本数据进行归一化处理，直至处理完第N段样本数据为止，得到所述至少两段样本数据，其中，i大于等于1，小于等于N。

结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述根据所述N段样本数据中的第i段样本数据和对应的所述N个系数中的第i个系数，对所述第i段样本数据进行归一化处理，直至处理完第N段样本数据为止，得到所述至少两段样本数据，包括：