[发明专利]一种分类数据挖掘模型的输入数据处理方法及装置

说明书

本发明公开了一种分类数据挖掘模型的输入数据的处理方法及装置，包括：接收用户上传的数据，对数据进行预处理；将所述数据中的字符型数据转换为数值型数据；对每个连续变量的数据进行分箱处理；计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量；将所述数据进行标准化处理。之后，可以应用处理后的数据进行数据建模以及后续的分类评分等操作。这样，接收到用户上传的数据后，可以自动的对分类挖掘模型的输入数据进行处理，无需数据分析人员再参与，这样不仅实现了数据挖掘过程中数据处理阶段的自动化，并且操作简单，无需操作人员具有专业的数据分析经验。

技术领域

本发明涉及数据处理领域，尤其涉及一种分类数据挖掘模型的输入数据的处理方法及装置。

背景技术

近年来，随着大数据技术的发展，数据挖掘技术也日趋成熟，数据挖掘技术一般是指从大量的数据中通过算法搜索出隐藏信息的方法。数据挖掘技术广泛应用在很多行业，例如：金融业、通信业、交通业、大型零售以及保险业等行业。一般数据挖掘包括：数据获取、数据处理、模型计算、模型上线等过程，但是，传统数据挖掘过程中，数据的转换、处理、检验、筛选等步骤大多由人工处理实现，效率较低，且需要专业数据分析人员参与其中。

现有技术中，虽然包含一些数据挖掘的工具，例如：Python、SAS等，但是这些软件需要非常专业的知识，普及力度低。

发明内容

有鉴于此，本发明实施例提供了一种分类数据挖掘模型的输入数据的处理方法及装置，不仅实现了数据挖掘过程中数据处理阶段的自动化，并且操作简单，无需操作人员具有专业的数据分析经验。

本发明实施例提供了一种分类数据挖掘模型的输入数据的处理方法，其特征在于，包括：

接收用户上传的数据，对所述数据进行预处理；

将所述数据中的字符型数据转换为数值型数据；

对每个连续变量的数据进行分箱处理；

计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量；

将所述数据进行标准化处理。

可选的，所述对所述数据进行预处理，包括：

剔除所述数据中的异常数据；

对所述数据中的缺失数据进行填充。

可选的，所述依据所述数据中预设的多个变量，分别对所述数据进行分箱处理，包括：

对每个变量的数据进行升序排序；

计算每个变量的数据在不同分割点的信息熵增益；

选取信息熵增益最大的分割点作为分箱的分割点；

判断是否达到了所述变量预设的分箱数；

若未达到预设的分箱数，计算分箱后的数据在不同分割点的信息熵增益，并返回执行选取信息熵增益最大的分割点作为分箱的分割点；

若达到所述变量预设的分箱数，结束分箱。

可选的，所述依据分箱后每个变量对应的数据，从所述数据中筛选出与预设的目标值关联性最大的数据，包括：

计算分箱后，每个变量的信息量IV值；

根据所述IV值的大小，筛选出所述IV值最高的前N个变量；N≥1。

可选的，所述计算每个变量预设的指标值，依据所述预设的指标筛选出与预设的目标变量关联性最大的变量包括：

对每个变量进行卡方检验，剔除不满足卡方检验的变量；

计算每个变量与目标变量的相关系数；