[发明专利]基于模型评估的大数据挖掘分析系统及其分析方法

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种基于模型评估的大数据挖掘分析系统。本发明还涉及一种基于模型评估的大数据挖掘分析方法。

背景技术

大数据技术发展迅猛，数据技术从早期在单机上处理单一类型的数据，发展到当前在计算机集群上处理多类型的数据，实现时间宽松的数据分析应用。随着数据量发展到PB、EB级甚至更大，并且要求更快的处理分析时间，大数据专用计算机、异地分布式计算机集群、多类型多来源数据的处理和分析、数据网络等复杂结构数据的分析、秒级时间分析等通用技术以及各种面向领域的应用技术是大数据技术的发展趋势。以HDFS、GFS、MapReduce、Hadoop、Spark、Storm、HBase、MongoDB等为代表的大数据通用技术和开源项目迅猛发展，大数据预处理技术是大数据处理过程中必不可少的一个环节。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过算法，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它主要是基于机器学习、统计、神经网络和数据库等诸多方法来实现上述目标。

目前，大数据挖掘分析方法中，研究人员根据业务数据构建固定的模型，然后根据模型对数据进行挖掘分析，但是没有根据业务需求进行建模的；没有结合人工经验，自适应业务模型的；没有对模型进行评估，设定等级后，对模型进行智能选取的。由于大数据挖掘是面向多行业、多领域的，所构建的模型的好坏往往会影响数据挖掘分析结果的分析准确度，难以支撑面向行业领域的决策支持。因此，需要根据业务模型自动调整，并对模型进行评估的大数据挖掘分析方法。

发明内容

本发明要解决的技术问题是本申请所要解决的技术问题是提供一种面向多行业、多领域的业务需求基于模型评估的大数据挖掘分析系统。本发明还提供了一种基于模型评估的大数据挖掘分析方法。

为解决上述技术问题，本发明提供的基于模型评估的大数据挖掘分析系统，包括：分布式存储管理模块、业务模型构建模块、模型评估模块、算法工具库和挖掘分析模块；

分布式存储管理模块，对整个大数据挖掘分析系统所有的数据进行统一的标准格式存储；存储的数据至少包括：样本数据、测试数据、待分析数据、分析结果、人工经验库、算法工具库和业务模型库等。

样本库，业务人员在数据分析过程中积累的典型的历史数据；

人工经验库，将业务人员长期工作得出的数据分析经验转化为计算机可识别的数据。

业务模型构建模块，根据人工经验库，提取样本数据中的数据项，对不同的数据项进行组合运算形成数据集，再将数据集根据业务需求选择算法参数和算法，构建相应的业务模型。

模型评估模块，对已构建的业务模型通过模型评估指标评估等级，获得已构建业务模型的评估等级，选择评估等级最优的业务模型作为本系统业务模型；其中，模型评估指标评包括：业务模型的计算效率和业务模型的分析准确度；

算法工具库，设置有统一标准的算法接口，包括两种算法引擎集合，用于构建业务模型和或数据挖掘分析；其中，每一种算法引擎集合至少包括一种算法引擎，每一算法引擎包含至少一种算法；

挖掘分析模块，根据不同行业的数据挖掘要求，选择算法工具库中的数据挖掘分析算法。

其中，所述算法工具库，包括：构建业务模型算法引擎集合包括：分类算法引擎、社会网络分析算法引擎和或图形算法引擎；挖掘分析引擎集合包括：态势型分析算法引擎、预警型分析算法引擎和或评估型分析算法引擎。

分类算法引擎，用于业务模型构建和挖掘分析请求时，使用分类算法引擎中的一种或几种算法进行相互协作，共同完成一批数据的分类。通过比对选择的一个或多个算法对应的模型在模型评价体系中分析结果的分析准确度，对每个算法设定权重，并对分类结果进行加权计算，从而通过多个算法对一批数据进行分析，有效地提高了分类准确率。常用的分类算法有支持向量机(SVM)分类算法、贝叶斯(Bayes)分类算法、人工神经网络(ANN)。

社会网络分析算法引擎用于业务模型构建和挖掘分析请求时，使用社会网络分析法分析数据之间的关系；社会网络分析算法引擎包括的算法其基本原理都是基于社会网络 分析法，主要通过数据与数据之间的关系分析，将数据作为图的节点、数据与数据之间的关系作为图的边来构建社会网络图。