[发明专利]一种档案大数据智能分析清洗挖掘系统

摘要

本发明公开了一种档案大数据智能分析清洗挖掘系统，包括档案信息数据库；档案信息数据库内包括档案归置模块、数据预处理模块和数据挖掘分析模块；档案归置模块包括档案分类统计模块、档案定位展现模块和档案记录模块；数据预处理模块包括数据清理模块、缺失值处理模块、数据选择模块、数据变换模块、数据集成模块、数据消减模块和数据清洗评估模块；数据挖掘分析模块包括统计分析模块、机器学习模块、神经网络模块和挖掘分析模块。本发明解决传统面对海量数据无法准确进行数据挖掘和数据清洗的问题，本申请能对档案进行缺失值处理，以及数据统计分析，结构简单，使用方便。

主权项

1.一种档案大数据智能分析清洗挖掘系统，其特征在于，包括档案信息数据库；档案信息数据库内包括档案归置模块、数据预处理模块和数据挖掘分析模块；档案归置模块包括档案分类统计模块、档案定位展现模块和档案记录模块；档案分类统计模块用于对档案进行录入、归置、分类和统计，并对档案按日期、按名称或按分类统计成表；档案定位展现模块用于获取和记录每个实体档案的定位信息，并对档案的位置变化进行记录；档案记录模块用于记录档案的录入时间，以及记录档案的调取信息，所述调取信息包括调取人、调取时间、调取原因和归还时间；数据预处理模块包括数据清理模块、缺失值处理模块、数据选择模块、数据变换模块、数据集成模块、数据消减模块和数据清洗评估模块；数据清理模块用于过滤和修改不符合要求的数据，检测和消除数据异常；所述不符合要求的数据包括不完整的数据、错误的数据和重复的数据；缺失值处理模块用于对带大量缺失值的数据进行处理，所述对缺失值的数据进行处理包括删除、比对数据属性和利用数据属性填充缺失值；数据选择模块用于对缺失处理后的数据进行选择，剔除冗余属性和挖掘关系不大的属性；数据变换模块用于对不同来源的数据进行转换，所述对不同来源的数据进行转换包括属性的数据类型转换、属性构造的转换、数据离散化的转换和数据标准化的转换；数据集成模块用于把不同来源、不同格式和不同特点性质的数据在逻辑上或物理上有机地集中，从而为数据挖掘提供完整的数据源；数据消减模块用于对大规模的数据进行数据消减，所述数据消减包括数据聚合、消减纬度、数据压缩和数据块消减；数据清洗评估模块用于对清洗后的数据进行质量评估；数据挖掘分析模块包括统计分析模块、机器学习模块、神经网络模块和挖掘分析模块；统计分析模块用于对待挖掘的数据进行分析，所述对待挖掘的数据进行分析包括分类分析、聚类分析、关联分析、序列分析和时间分析；机器学习模块用于通过归纳学习方法对大量数据进行有目的分类，从中找到有价值的信息，并通过算法生成预测模型；神经网络模块用于通过聚类的自组织映射方法对数据进行自适应性处理；挖掘分析模块用于建立数据挖掘模型，通过算法得到有特殊关联性的数据信息。