[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括以下步骤：

S1，获取包含多个表格的初始数据集，并对所述初始数据集进行预处理以去除至少一个表格中相应属性的数据信息；

S2，通过多表连接将预处理后的数据集中存在联系的表格进行合并；

S3，对多表连接后的数据集进行采样以缩减数据集的大小；

S4，通过自动化特征工程获取采样后的数据集中的高阶特征或特征间的组合，以得到包含新特征的数据集；

S5，通过自动特征选择过滤掉所述新特征中的无效特征，以得到包含目标特征的待训练/测试数据集。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

S6，建立机器学习模型；

S7，将所述待训练/测试数据集输入所述机器学习模型以进行训练/测试。

3.根据权利要求1或2所述的数据处理方法，其特征在于，所述步骤S2包括：

将表格间的关系分为两类，其中，第一类包含一对一和多对一关系，第二类包含一对多和多对多关系；

对于所述第一类关系，直接将副表的数据通过key值合并到主表上；

对于所述第二类关系，对所述第二类关系中的副表做聚集操作，以转换为所述第一类关系，并将转换关系后的副表的数据通过key值合并到主表上。

4.根据权利要求3所述的数据处理方法，其特征在于，所述步骤S2还包括：

如果主表和副表都有时间戳，则将副表上离主表当前数据的时间最接近且为相同key值的数据合并到主表上。

5.根据权利要求1或2所述的数据处理方法，其特征在于，所述步骤S3包括：

获取设定的样本数阈值；

对多表连接后的数据集进行采样，以使数据集中的样本数不高于所述样本数阈值。

6.根据权利要求2所述的数据处理方法，其特征在于，所述机器学习模型为LightGBM，通过早停法选择LightGBM的学习率，并通过引导聚集算法对LightGBM进行融合。

7.根据权利要求6所述的数据处理方法，其特征在于，其中，采用自适应数据采样策略对LightGBM进行训练。

8.一种数据处理装置，其特征在于，包括：

预处理模块，所述预处理模块用于获取包含多个表格的初始数据集，并对所述初始数据集进行预处理以去除至少一个表格中相应属性的数据信息；

多表连接模块，所述多表连接模块用于通过多表连接将预处理后的数据集中存在联系的表格进行合并；

采样模块，所述采样模块用于对多表连接后的数据集进行采样以缩减数据集的大小；

特征工程模块，所述特征工程模块用于通过自动化特征工程获取采样后的数据集中的高阶特征或特征间的组合，以得到包含新特征的数据集；

特征选择模块，所述特征选择模块用于通过自动特征选择过滤掉所述新特征中的无效特征，以得到包含目标特征的待训练/测试数据集。

9.根据权利要求8所述的数据处理装置，其特征在于，还包括：

模型建立模块，所述模型建立模块用于建立机器学习模型；

模型训练/测试模块，所述模型训练/测试模块用于将所述待训练/测试数据集输入所述机器学习模型以进行训练/测试。

10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行根据权利要求1-7中任一项所述的数据处理方法。