[发明专利]结构化数据的知识挖掘方法及系统

权利要求书

1.一种结构化数据的知识挖掘方法，其特征在于，所述结构化数据的知识挖掘方法包括：

采集需进行知识挖掘的结构化数据，并对采集的结构化数据进行数据清洗；

根据目标数据特征，对数据清洗后的结构化数据进行数据分析，根据分析结果构建知识挖掘模型；

利用知识挖掘模型，从结构化数据中提取出对应的目标信息。

2.如权利要求1所述的结构化数据的知识挖掘方法，其特征在于，所述采集需进行知识挖掘的结构化数据，并对采集的结构化数据进行数据清洗，包括：

从待进行知识挖掘的对应数据库中，采集所有的结构化数据；

针对已采集的结构化数据，进行数据筛选，判断所述结构化数据是否存在缺失；若存在缺失，则根据预设处理方式，填充缺失字段或者删除缺失字段；

优化筛选后的结构化数据，验证所述结构化数据的正确性并对重复的结构化数据进行去重处理；

分析优化后的结构化数据中是否存在异类数据；若存在异类数据，则对存在的异类数据进行修改或者删除。

3.如权利要求1或2所述的结构化数据的知识挖掘方法，其特征在于，所述根据目标数据特征，对数据清洗后的结构化数据进行数据分析，根据分析结果构建知识挖掘模型，包括：

根据所需的目标数据的数据特征，将语义推理和机器学习方法相结合，进行机器学习；

提取出所述目标数据中的关键字，并将提取出的关键字与所述结构化数据进行对比；

根据所述结构化数据中关键字的出现次数，计算所述结构化数据与所述目标数据的相关度分值，并将得到的相关度分值与预设门限值进行比较；

若得到的相关度分值大于或者等于所述预设门限值，则将对应的结构化数据作为与所述目标数据相关的内容数据；若得到的相关度分值小于所述预设门限值，则将对应的结构化数据作为与所述目标数据不相关的内容数据；

根据比较结果，构建知识挖掘模型。

4.如权利要求3所述的结构化数据的知识挖掘方法，其特征在于，所述根据比较结果，构建知识挖掘模型，包括：

根据比较结果，构建多个知识挖掘模型；

利用交叉验证的测试方法，对构建的多个知识挖掘模型进行测试；

根据测试结果，对构建的知识挖掘模型进行参数调优；

对参数调优后的多个知识挖掘模型进行评估；

根据评估结果，从构建的多个知识挖掘模型中选择一个最优的知识挖掘模型；或者，多个知识挖掘模型进行混合部署。

5.如权利要求3所述的结构化数据的知识挖掘方法，其特征在于，所述根据比较结果，构建知识挖掘模型，包括：

根据比较结果，设计LDA模型的算法，采用分布式及块分裂技术，构建对应的知识挖掘模型。

6.一种结构化数据的知识挖掘系统，其特征在于，所述结构化数据的知识挖掘系统包括：

数据清洗模块，用于采集需进行知识挖掘的结构化数据，并对采集的结构化数据进行数据清洗；

模型构建模块，用于根据目标数据特征，对数据清洗后的结构化数据进行数据分析，根据分析结果构建知识挖掘模型；

知识挖掘模块，用于利用知识挖掘模型，从结构化数据中提取出对应的目标信息。

7.如权利要求6所述的结构化数据的知识挖掘系统，其特征在于，所述数据清洗模块用于：

从待进行知识挖掘的对应数据库中，采集所有的结构化数据；

针对已采集的结构化数据，进行数据筛选，判断所述结构化数据是否存在缺失；若存在缺失，则根据预设处理方式，填充缺失字段或者删除缺失字段；

优化筛选后的结构化数据，验证所述结构化数据的正确性并对重复的结构化数据进行去重处理；

分析优化后的结构化数据中是否存在异类数据；若存在异类数据，则对存在的异类数据进行修改或者删除。