[发明专利]数据处理方法及其装置、电子设备以及计算机可读介质

说明书

本公开提供了一种数据处理方法，包括：获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。本公开还提供了一种数据处理装置、一种电子设备和一种计算机可读存储介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法、一种数据处理装置、一种电子设备以及一种计算机可读介质。

背景技术

随着通信和计算机技术的快速发展，在各种应用领域的信息化过程中产生了海量数据，迫切需要将这些数据转换成有价值的信息和知识，这使得数据挖掘技术受到了越来越多的关注。数据挖掘从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取其中隐含的且人们事先不知道的但又潜在有用的信息和知识的过程。例如，根据用户的年龄、性别、以往交易历史等数据，可以分析出用户的交易风险，或者可以分析出用户的偏好以向其推荐感兴趣的商品。

数据挖掘的一个重要步骤是对数据进行预处理，将杂乱的数据转为可以进行建模的数据，从而便于得到数据背后隐含的信息。现实世界的大部分数据具有连续值，如用户年龄、每月消费金额、通话时长等。由于具有连续值的数据之间重复少，通常存在计算量大、计算时间长、浪费计算资源等一系列问题，因此，需要在预处理中将这些连续值离散化。现阶段对具有连续值的数据的处理方法为数据分箱(binning)。

在实现本公开构思的过程中，发明人发现在现有技术中至少存在如下问题。首先现有分箱方法仅能分析单维特征以寻找该特征的离散划分方法，不能考虑多特征数据的多个特征之间的相互关系。另外，现有分箱方法需要找到恰当的多个固定数量的分割点，但当分箱数过多或者数据分布密度的偏差性明显时，这通常是极为困难的，因此难以准确地离散化连续数据。

发明内容

有鉴于此，本公开提供了能够更准确地对具有连续特征值的多维度数据进行离散化的数据处理方法、数据处理装置、电子设备以及计算机可读介质。

本公开的一个方面提供了一种数据处理方法，包括：获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。

根据本公开的实施例，所述方法还包括：获取样本集，所述样本集中包括多个样本数据，每个样本数据都与所述目标数据具有相同的数据结构；执行第一方法体，以确定所述第一分类树的根节点；迭代执行第二方法体，以确定所述第一分类树的除所述根节点之外的其他节点；其中，所述第一方法体包括以下操作：逐维度地遍历所述样本集中所有样本数据的特征值，以确定每个维度的特征值的分裂点；基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点；基于所述根节点将所述样本集划分为两个子样本集；其中，所述第二方法体包括以下操作：逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点；基于确定的各个预定维度的特征值的分裂点，确定所述第一分类树的对应深度的子节点；以及基于所述对应深度的子节点将所述子样本集划分为两个子样本集。

根据本公开的实施例，在所述第一方法体中，所述基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点包括：针对每个维度的特征值的分裂点，计算总样本的基尼系数，得到多个基尼系数；将与所述多个基尼系数中的最小基尼系数对应的维度的特征以及对应的特征值的分裂点作为所述根节点的分类依据。