[发明专利]一种新型可定制的大数据平台架构方法

权利要求书

1.一种新型可定制的大数据平台架构方法，包括适配以及自动化参数配置平台和数据挖掘流程及算法的自动化选择与组合平台，其特征在于：所述适配以及自动化参数配置平台具体包括适配过程和系统配置参数层，所述系统配置参数层包括专家系统、机器学习配置参数系统和参数配置接口，所述数据挖掘流程及算法的自动化选择与组合平台包括数据采集层、数据存储层、数据分析层和结果展现层，所述大数据分析系统数据存储层提供持久存储和短暂存储，所述持久存储层包括Apache-hadoop中的HDFS分布式文件系统数据储存服务、Apache-HBASE数据库数据储存服务和Apache-HIVE数据仓库数据存储服务，短暂存储层包括Redis集群数据储存服务和MongoDB数据存储服务。

2.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据分析系统拥有一个定制开发的系统运行环境RingBox，其中，RingBox包括RingBox上层和RingBox下层。

3.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据平台具体用于计算的硬件设备主要有高性能服务器、PC、手机、平台电脑、车载智能设备和智能可穿戴设备。

4.根据权利要求3所述的一种新型可定制的大数据平台架构方法，其特征在于：所述硬件设备所使用的主流操作系统为windows、linux、Android、IOS、Unix和winPE。

5.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据平台的数据分析层-数据分析工具包括MapReduce、Hive、Storm和Spark，其中，MapReduce和Hive进行离线大数据分析，Storm和Spark进行实时大数据分析。

6.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据平台内设置有数据转换器，数据转换器将不同类型不同格式的数据转换成统一的数据格式和大数据分析系统进行对接。

7.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据分析系统的数据分析层-数据分析接口包括数据ETL接口、统计学分析接口、机器学习算法数据分析接口、深度学习算法数据分析接口和自定义算法数据分析接口。

8.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据分析系统的四个层次封装大数据分析系统原子接口。

9.根据权利要求1所述的一种新型可定制的大数据平台架构方法，其特征在于：所述大数据分析系统原子接口封装数据挖掘层，其中，数据挖掘层包括专家系统和BP神经网络Adaboost集成算法智能系统。

10.根据权利要求9所述的一种新型可定制的大数据平台架构方法，其特征在于：所述专家系统具体为一种针对某领域和业务需求的常见数据ETL方式以及机器学习算法组合方案程式化。