[发明专利]一种自动化数据挖掘预处理方法

摘要

本发明公开了一种自动化数据挖掘预处理方法，其特征在于，包括：建立数据库和预处理规则库，在该数据库中新建数据表且标准化命名，将待预处理数据进行抽样后导入新建数据表中，同时对抽样后的预处理数据的每一个字段的值进行数理统计；提取数据表的关键字A、B和C，在预处理规则库中查询是否存在这些关键字，如果不存在则将数据表的关键字和所有字段添加到预处理规则库中，然后采用分箱法和数据平滑法对所有预处理数据进行处理，以生成新的规则，并将其添加到原有规则库中。本发明通过对预处理结果进行评分和反馈，调整字段映射函数，提高预处理的质量。

主权项

1.一种自动化数据挖掘预处理方法，其特征在于，包括以下步骤：(1)建立数据库和预处理规则库，在该数据库中新建数据表且标准化命名，将待预处理数据进行抽样后导入新建数据表中，同时对抽样后的预处理数据的每一个字段的值进行数理统计；(2)提取数据表的关键字A、B和C，在预处理规则库中查询是否存在这些关键字，如果不存在则进入步骤(3)，如果存在则跳转步骤(4)；(3)将数据表的关键字和所有字段添加到预处理规则库中，然后跳转到步骤(7)；(4)找到数据表中抽样后的数据的所有字段，确定这些字段对应数值的类型，根据数据表中的关键字和字段对应数值的类型是否与规则库中的关键字及类型一致来判断规则库中的字段是否符合数据表字段，如果符合则进入步骤(5)，不符合则跳转到步骤(7)；(5)计算数据表中的每一字段特征向量和规则库中符合字段的特征向量，并根据两个特征向量之间的误差判断来修正误差阈值ξ，进而修正并确立数据表字段和已有规则库中字段之间的映射关系；(6)将所有待预处理数据导入到新建数据表中，按照规则库中的数据预处理方法对该数据进行数据预处理，并对预处理结果进行评估；其中，步骤(6)包括以下子步骤：(6.1)将所有的待预处理数据导入到新建数据表中，根据步骤5中确立的映射关系，将待预处理的数据变换成相应映射的数据，通过规则库提取与该数据相应的数据预处理方法；(6.2)依照规则库中的预处理方法，对所有待预处理数据进行数值缺失和数据冗余处理；(6.3)对步骤(6.2)处理后的数据进行合并、拆分和归一化处理；(6.4)对步骤(6.3)处理后的数据进行属性交换、属性变换和属性删除处理；(6.5)计算预处理数据各字段的特征向量λ＝(λ₁,λ₂...λ_n)和规则库字段特征向量λ'＝(λ₁',λ₂'...λ_n')，并得到向量集合D＝{(λ₁,λ₁'),(λ₂,λ₂')...(λ_n,λ_n')}，使用公式作为评估函数对预处理过程进行评估，并判断是否有S＞ψ，ψ为预先设定的误差阈值，如果是则进入步骤(7)，否则跳转步骤(8)；(7)采用分箱法和数据平滑法对所有预处理数据进行处理，以生成新的规则，并将其添加到原有规则库中；(8)输出步骤(6)和(7)的预处理结果，并记录预处理日志。