[发明专利]一种分类数据挖掘模型的输入数据处理方法及装置

权利要求书

1.一种分类数据挖掘模型的输入数据的处理方法，其特征在于，包括：

接收用户上传的数据，对所述数据进行预处理；

将所述数据中的字符型数据转换为数值型数据；

对每个连续变量的数据进行分箱处理；

计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量；

将所述数据进行标准化处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述数据进行预处理，包括：

剔除所述数据中的异常数据；

对所述数据中的缺失数据进行填充。

3.根据权利1所述的方法，其特征在于，所述依据所述数据中预设的多个变量，分别对所述数据进行分箱处理，包括：

对每个变量的数据进行升序排序；

计算每个变量的数据在不同分割点的信息熵增益；

选取信息熵增益最大的分割点作为分箱的分割点；

判断是否达到了所述变量预设的分箱数；

若未达到预设的分箱数，计算分箱后的数据在不同分割点的信息熵增益，并返回执行选取信息熵增益最大的分割点作为分箱的分割点；

若达到所述变量预设的分箱数，结束分箱。

4.根据权利要求1所述的方法，其特征在于，所述依据分箱后每个变量对应的数据，从所述数据中筛选出与预设的目标值关联性最大的数据，包括：

计算分箱后，每个变量的信息量IV值；

根据所述IV值的大小，筛选出所述IV值最高的前N个变量；N≥1。

5.根据权利要求1或4所述的方法，其特征在于，所述计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量包括：

对每个变量进行卡方检验，剔除不满足卡方检验的变量；

计算每个变量与目标变量的相关系数；

根据所述相关系数的大小，筛选出所述相关系数最高的前N个变量；N≥1；

获取相关系数最高的前N个变量。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取预设的模型中预设参数的多个数值；

基于所述预设参数的每个数值，将预设的样本代入到所述预设的模型中，计算每个数值对应的所述预设模型的预测结果；

确定最优的预测结果，并将所述最优预测结果对应的所述参数的数值作为预设参数的最优值。

7.一种分类数据挖掘模型的输入数据的处理装置，其特征在于，包括：

数据预处理单元，用于接收用户上传的数据，对所述数据进行预处理；

第一转换单元，用于将所述数据中的字符型数据转换为数值型数据；

分箱单元，用于对每个连续变量的数据进行分箱处理；

筛选单元，用于计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量；

第二转换单元，用于将所述数据进行标准化处理。

8.根据权利要求7所述的装置，其特征在于，所述分箱单元，包括：

排序子单元，用于对每个变量的数据进行升序排序；

第一计算子单元，用于计算每个变量的数据在不同分割点的信息熵增益；

选取子单元，用于选取信息熵增益最大的分割点作为分箱的分割点；

判断子单元，用于判断是否达到了所述变量预设的分箱数；

第二计算子单元，用于若未达到预设的分箱数，计算分箱后的数据在不同分割点的信息熵增益，并返回执行选取信息熵增益最大的分割点作为分箱的分割点；

结束子单元，用于若达到所述变量预设的分箱数，结束分箱。

9.根据权利要求7所述的装置，其特征在于，所述筛选单元，包括：

IV值计算子单元，用于计算分箱后，每个变量的信息量IV值；

获取子单元，用于根据所述IV值的大小，筛选出所述IV值最高的前N个变量；N≥1。

10.根据权利要求7所述的装置，其特征在于，还包括：

数值获取单元，用于获取预设的模型中预设参数的多个数值；

计算单元，用于基于所述预设参数的每个数值，将预设的样本代入到所述预设的模型中，计算每个数值对应的所述预设模型的预测结果；

确定单元，用于确定最优的预测结果，并将所述最优预测结果对应的所述参数的数值作为预设参数的最优值。