[发明专利]大数据环境下的数据挖掘平台的构建方法

摘要

本发明公开一种大数据环境下的数据挖掘平台的构建方法，适用于处理不同规模、类型多样的数据集，并利用R语言的丰富功能进行数据的分析和展现。本发明体系架构如下图所示，自底向上分为四层：物理层、虚拟化层、服务层和应用层。物理层部署了异构的硬件资源；在虚拟化层，利用CloudStack构建虚拟机群，然后在虚拟机集群上部署了Hadoop环境；在服务层，集成了R语言，实现了多种数据挖掘功能并封装成服务。在应用层，提供给用户清晰的操作界面，以可定制流程、参数可配置的方式供用户使用。本发明能有效处理大数据并展现分析结果，且具备较高的处理效率。

主权项

一种大数据环境下的数据挖掘平台的构建方法，其特征在于，包括如下几个步骤：步骤1：基础设施虚拟化；采用虚拟化技术将设施虚拟化，包括物理层的服务器虚拟化、存储虚拟化和网络虚拟化，形成虚拟化层；主要从两个方面进行虚拟化，建立两个虚拟化池即计算虚拟化池和存储虚拟化池；计算虚拟化池主要实现应用虚拟化，在计算资源层面包括服务器虚拟化和应用中间件虚拟化；存储虚拟化池主要实现数据存储虚拟化，在存储层面包括存储硬件架构虚拟化和存储软件虚拟化； 步骤2：部署虚拟化器件，即虚拟机实例化的阶段；此流程大致分为以下几个步骤：（1）  选择虚拟器件并定制化；（2）  保存定制化参数文件；（3）  选择部署的目标物理机服务器；（4）  拷贝虚拟器件的相关文件；（5）  在目标机上启动部署后的虚拟器件；步骤3：开源云计算解决方案CloudStack的安装；使用CloudStack作为基础，搭建虚拟机集群，用户可以快速方便地在现有的基础架构上创建私有的云计算平台，其安装过程主要包含以下几步：（1）  配置安装源；（2）  安装CloudStack Management Server；（3）  安装MySQL数据库；（4）  安装HOST主机；（5）  配置安全策略、网桥、防火墙、NFS共享；步骤4：服务层：部署RHadoop环境，使得R语言引擎能够运行在Hadoop集群之上；配置JRI动态链接库，使得实际的计算过程是通过在底层调用R语言来实现的；步骤5：处理关系型数据库中的海量数据；结合R和Hadoop来实现对关系型数据库中大规模数据的操作：通过开源工具Sqoop将大量待分析数据输出为文本数据文件，并将文本数据文件上传到HDFS中，然后转化为对文本数据集进行分布式处理；步骤6：流程化的操作方法；在应用层以Web界面的方式向用户服务层实现的各种功能；用户可以根据自身需求自定义分析流程，包括：设置数据来源、选择分析方法、设置分析参数、数据挖掘与分析、得出分析结果并展示。