[发明专利]基于模型评估的大数据挖掘分析系统及其分析方法

摘要

本发明公开了一种基于模型评估的大数据挖掘分析系统，包括分布式存储管理模块，对整个大数据挖掘分析系统所有的数据进行统一的标准格式存储；业务模型构建模块，根据不同行业的需求选择算法工具库中相应算法构建业务模型；模型评估模块，对已构建的业务模型通过模型评估指标评估等级，选择评估等级最优的业务模型作为本系统业务模型；算法工具库，设置有统一标准的算法接口，包括两种算法引擎集合，用于构建业务模型和或数据挖掘分析；挖掘分析模块，数据挖掘要求选择算法工具库中的数据挖掘分析算法。本发明还公开了一种基于模型评估的大数据挖掘分析方法。

主权项

一种基于模型评估的大数据挖掘分析系统，其特征是，包括：分布式存储管理模块、业务模型构建模块、模型评估模块、算法工具库和挖掘分析模块；分布式存储管理模块，对整个大数据挖掘分析系统所有的数据进行统一的标准格式存储；业务模型构建模块，根据人工经验库，提取样本数据中的数据项，对不同的数据项进行组合运算形成数据集，再将数据集根据业务需求选择算法参数和算法，构建相应的业务模型。模型评估模块，对已构建的业务模型通过模型评估指标评估等级，获得已构建业务模型的评估等级，选择评估等级最优的业务模型作为本系统业务模型；其中，模型评估指标评包括：业务模型的计算效率和业务模型的分析准确度；算法工具库，设置有统一标准的算法接口，包括两种算法引擎集合，用于构建业务模型和或数据挖掘分析；其中，每一种算法引擎集合至少包括一种算法引擎，每一种算法引擎包含至少一种算法；挖掘分析模块，根据不同行业的数据挖掘要求，选择算法工具库中的数据挖掘分析算法。