[发明专利]基于动态元数据的大数据智能建模系统及方法

权利要求书

1.一种基于动态元数据的大数据智能建模系统，其特征在于：该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块；

所述的异常检测模块用于实现建模流程设计中的异常检测，包括异常检测库和异常检测引擎两个子模块；

所述的异常检测库以元数据模拟真实大数据样本，分别定义每项数据操作合规的元数据形式、内容，并将异常状态划分为Fatal、Error、Warning三个级别；

所述的异常检测引擎将在元数据转换计算之前，调用异常检测库中相应检测项目，预先对流程节点输入元数据进行异常检测，若检测通过则进行转换计算，否则抛出异常记录；

所述的大数据引擎模块用于进行大数据集计算，完成整个建模流程后，通过大数据引擎模块调用对应Spark ML接口实现对大数据集本身的挖掘计算，获取挖掘结果；

所述的可视化模块用于构建可视化系统界面，将每项数据操作以图形化插件形式进行封装，通过简单的拖拽、连接即可完成流程；提供对每个流程节点输入输出元数据、异常预警信息可视化，实现人机交互过程；

所述的元数据采集模块构建数据源的元数据，并将其作为初始元数据载入建模过程，在添加数据源时，调用元数据采集模块对数据源进行统计，提取字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数的数据特征，合并生成元数据，然后将元数据与当前数据源绑定，当数据源与其他流程节点连接时，自动将元数据传递给下级流程节点。

2.如权利要求1所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的元数据算法库模块用于提供元数据计算，它集成了用于元数据计算的功能算子，该功能算子包括能够进行数据转换、数据清洗、数据集成、数据规约、数据生成、数据特征提取、统计分析、关联规则、分类与回归、聚类、模型应用与评估的计算逻辑，当添加一个流程节点时，通过元数据算法库模块获取该流程节点所需的元数据算子，元数据算子自动实现对流程节点输入端元数据的计算，并将新的元数据储存至流程节点的输出端，基于元数据算法库模块，对流程节点进行添加、连接的同时，元数据也在动态的转换、传递。