[发明专利]基于人工智能的数据处理方法、装置、终端及存储介质

说明书

本发明涉及人工智能技术领域，提供一种基于人工智能的数据处理方法、装置、终端及存储介质，包括：将使用XGBoost模型从原始数据集中选取出的重要数据集切分为多个分数据集；使用每个分数据集训练并测试lightGBM模型得到测试通过率；将分数据集中第一个字段对应的训练数据及测试数据进行预标准化处理得到新的分数据集；使用新的分数据集训练并测试lightGBM模型得到测试通过率；根据两次测试通过率判断是否需要对第一个字段对应的数据进行标准化处理；重复执行上述过程直至判断是否需要对重要数据集中最后一个字段对应的数据进行标准化处理，根据所有的判断结果更新重要数据集得到目标数据集。本发明能够选取出具有较强稳定性且对预测模型具有较大贡献度的数据集。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的数据处理方法、装置、终端及存储介质。

背景技术

在代理人留存/低业绩预测模型中，部分特征由于受到季节性(例如2月入司人数和质量)和业务方面(例如强推APP、考核月和非考核月的新人质量)的影响，存在跨时间不稳定的现象，即特征的分布(均值、标准差等等)随时间变化而变化，这就给模型的训练和跨时间预测带来了困难。

此外，由于代理人留存/低业绩预测模型的训练是将预测月份的前3至6个月的数据作为一个训练集整体来进行训练(例如预测9月的留存/低业绩模型的训练集是3月-6月的数据做为一个整体)，常用的树模型(GBDT/XGBOOST等等)是针对特征在训练月份(4月-6月)的整体分布而寻找最优分裂点。然而每个月的入司人群的质量可能略有差异，这就导致寻找到的最优分裂点在训练的多个月份不一定稳定；预测月份和训练月份的入司的人群质量、特征分布也存在差异，这就为模型跨时间预测的稳定性造成了潜在的隐患。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的数据处理方法、装置、终端及存储介质，能够从原始数据集中选取出具有较强稳定性且对预测模型具有较大贡献度的目标数据集。

本发明的第一方面提供一种基于人工智能的数据处理方法，所述方法包括：

将使用XGBoost模型从原始数据集中选取出的重要数据集切分为多个第一分数据集，使用每个第一分数据集对训练后的第一lightGBM模型进行测试得到第一测试通过率，其中，所述重要数据集与每个第一分数据集具有相同的多个字段；

将每个第一分数据集中第一个字段对应的数据进行预标准化处理得到第二分数据集，并使用每个第二分数据集对训练后的第二lightGBM模型进行测试得到第二测试通过率；

根据多个所述第一测试通过率及对应的所述第二测试通过率判断是否需要对所述重要数据集中的所述第一个字段对应的数据进行标准化处理，并根据判断得到的判断结果更新所述第二分数据集；

将每个更新后的第二分数据集中第二个字段对应的数据进行预标准化处理得到第三分数据集，并使用每个第三分数据集对训练后的第三lightGBM模型进行测试得到第三测试通过率；

重复执行上述过程直至判断是否需要对所述重要数据集中的最后一个字段对应的数据进行标准化处理，并根据所有的判断结果更新所述重要数据集得到目标数据集。

可选的，所述使用XGBoost模型从原始数据集中选取出重要数据集的过程包括：

基于所述原始数据集训练第一XGBoost模型，获取所述第一XGBoost模型输出的所述原始数据集中每个字段的重要度值，并计算所述第一XGBoost模型的第一预测准确率；

对所述重要度值按照从大到小进行排序；

读取预设数值序列中的第一个数值，从排序后的重要度值中获取所述第一个数值的重要度值对应的第一目标字段，并将所述第一目标字段对应的多个原始数据作为第一子原始数据集；