[发明专利]一种新型可定制的大数据平台架构方法

说明书

技术领域

本发明属于大数据平台架构技术领域，具体涉及一种新型可定制的大数据平台架构方法。

背景技术

随着google、百度以及阿里云计算平台的推广、普及和完善，大数据云平台的应用迎来了前所未有的机遇，在此背景下，开源大数据处理项目为本技术提供了框架底层的基础支持，除此之外还用到以下技术：

1.Apache-hadoop、hbase、zookeeper、storm和spark：使用了由Apache软件基金会提供的开源大数据处理平台。

2.JAVA、python编程技术：使用了由Google公司提供编程技术、Guido van Rossum发明的编程语言。

3.tensorflow机器学习平台：使用了由Google公司提供的开源机器学习平台。

现有技术的缺陷和不足：

1.当前在使用大数据处理平台的过程中，需要针对不同的应用场景做相应的配置，该配置需要专业人员花费大量时间和经历去操作，耗费大量人力、时间资源。

2.现有大数据可定制平台无法针对具体的应用场景学习配置参数，自动化优化调整配置参数，没有提供可开发接口扩展应用平台。

3.现有产品在实时数据处理的平台构建上无法满足实时处理参数的最优配比。

4.现有产品无法针对具体业务需求选择合适的算法进行业务处理工作，选择合适的机器学习算法需要耗费大量的人力进行大量的测试。

发明内容

本发明的目的在于提供一种新型可定制的大数据平台架构方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提出一种新型可定制的大数据平台架构方法，包括适配以及自动化参数配置平台和数据挖掘流程及算法的自动化选择与组合平台，其特征在于：所述适配以及自动化参数配置平台具体包括适配过程和系统配置参数层，所述系统配置参数层包括专家系统、机器学习配置参数系统和参数配置接口，所述数据挖掘流程及算法的自动化选择与组合平台包括数据采集层、数据存储层、数据分析层和结果展现层，所述大数据分析系统数据存储层提供持久存储和短暂存储，所述持久存储层包括Apache-hadoop中的HDFS分布式文件系统数据储存服务、Apache-HBASE数据库数据储存服务和Apache-HIVE数据仓库数据存储服务，短暂存储层包括Redis集群数据储存服务和MongoDB数据存储服务。

优选的，所述大数据分析系统拥有一个定制开发的系统运行环境RingBox，其中，RingBox包括RingBox上层和RingBox下层。

优选的，所述大数据平台具体用于计算的硬件设备主要有高性能服务器、PC、手机、平台电脑、车载智能设备和智能可穿戴设备。

优选的，所述硬件设备所使用主流操作系统为windows、linux、Android、IOS、Unix和winPE。

优选的，所述大数据平台的数据分析层-数据分析工具包括MapReduce、Hive、Storm和Spark，其中，MapReduce和Hive进行离线大数据分析，Storm和Spark进行实时大数据分析。

优选的，所述大数据平台内设置有数据转换器，数据转换器将不同类型不同格式的数据转换成统一的数据格式和大数据分析系统进行对接。

优选的，所述大数据分析系统的数据分析层-数据分析接口包括数据ETL接口、统计学分析接口、机器学习算法数据分析接口、深度学习算法数据分析接口和自定义算法数据分析接口。

优选的，所述大数据分析系统的四个层次封装大数据分析系统原子接口。

优选的，数据分析系统原子接口封装数据挖掘层，数据挖掘层包括专家系统和BP神经网络Adaboost集成算法智能系统。

优选的，所述专家系统具体为一种针对某领域和业务需求的常见数据ETL方式以及机器学习算法组合方案程式化。

与现有技术相比，本发明的有益效果是：

1.本发明是软件层技术，适用于各种编程语言，可以实现多平台适配。

2.本发明通过将不同开源框架进行有机组合以及自主研发的各类接口配合机器学习算法实现了节约人力、时间的目的，使得任何公司及个人可以随时随地，在各类设备上部署大数据分析平台以及进行大数据分析。

3.本发明可以适配安装各种类型操作系统的硬件设备。

4.本发明对多种类型数据进行适配和转换，形成统一定义的数据格式，极大的方便后续数据存储及数据分析过程。