[发明专利]一种新型可定制的大数据平台架构方法

摘要

本发明公开了一种新型可定制的大数据平台架构方法，属于大数据平台架构技术领域，包括适配以及自动化参数配置平台和数据挖掘流程及算法的自动化选择与组合平台，所述大数据分析系统的目的是进行大数据分析系统在不同设备环境的适配以及自动化参数配置以及进行不同的大数据分析场景的数据挖掘流程及算法的自动化选择与组合，本发明通过将不同开源框架进行有机组合以及自主研发的各类接口配合机器学习算法实现了节约人力、时间的目的，使得任何公司及个人可以随时随地，在各类设备上部署大数据分析平台以及进行大数据分析，对大数据处理方式及大数据处理算法进行自动化，能够有效的降低由于人为失误或知识缺陷带来的数据分析结果质量低下。

主权项

一种新型可定制的大数据平台架构方法，包括适配以及自动化参数配置平台和数据挖掘流程及算法的自动化选择与组合平台，其特征在于：所述适配以及自动化参数配置平台具体包括适配过程和系统配置参数层，所述系统配置参数层包括专家系统、机器学习配置参数系统和参数配置接口，所述数据挖掘流程及算法的自动化选择与组合平台包括数据采集层、数据存储层、数据分析层和结果展现层，所述大数据分析系统数据存储层提供持久存储和短暂存储，所述持久存储层包括Apache‑hadoop中的HDFS分布式文件系统数据储存服务、Apache‑HBASE数据库数据储存服务和Apache‑HIVE数据仓库数据存储服务，短暂存储层包括Redis集群数据储存服务和MongoDB数据存储服务。