[发明专利]大数据环境下的数据挖掘平台的构建方法

权利要求书

1.一种大数据环境下的数据挖掘平台的构建方法，其特征在于，包括如下几个步骤：

步骤1：基础设施虚拟化；采用虚拟化技术将设施虚拟化，包括物理层的服务器虚拟化、存储虚拟化和网络虚拟化，形成虚拟化层；主要从两个方面进行虚拟化，建立两个虚拟化池即计算虚拟化池和存储虚拟化池；计算虚拟化池主要实现应用虚拟化，在计算资源层面包括服务器虚拟化和应用中间件虚拟化；存储虚拟化池主要实现数据存储虚拟化，在存储层面包括存储硬件架构虚拟化和存储软件虚拟化； 

步骤2：部署虚拟化器件，即虚拟机实例化的阶段；此流程大致分为以下几个步骤：

（1）  选择虚拟器件并定制化；

（2）  保存定制化参数文件；

（3）  选择部署的目标物理机服务器；

（4）  拷贝虚拟器件的相关文件；

（5）  在目标机上启动部署后的虚拟器件；

步骤3：开源云计算解决方案CloudStack的安装；使用CloudStack作为基础，搭建虚拟机集群，用户可以快速方便地在现有的基础架构上创建私有的云计算平台，其安装过程主要包含以下几步：

（1）  配置安装源；

（2）  安装CloudStack Management Server；

（3）  安装MySQL数据库；

（4）  安装HOST主机；

（5）  配置安全策略、网桥、防火墙、NFS共享；

步骤4：服务层：部署RHadoop环境，使得R语言引擎能够运行在Hadoop集群之上；配置JRI动态链接库，使得实际的计算过程是通过在底层调用R语言来实现的；

步骤5：处理关系型数据库中的海量数据；结合R和Hadoop来实现对关系型数据库中大规模数据的操作：通过开源工具Sqoop将大量待分析数据输出为文本数据文件，并将文本数据文件上传到HDFS中，然后转化为对文本数据集进行分布式处理；

步骤6：流程化的操作方法；在应用层以Web界面的方式向用户服务层实现的各种功能；用户可以根据自身需求自定义分析流程，包括：设置数据来源、选择分析方法、设置分析参数、数据挖掘与分析、得出分析结果并展示。

2.根据权利要求1所述的大数据环境下的数据挖掘平台的构建方法，其特征在于：所述服务层中，使用了MySQL数据库的复制技术以及开源工具Sqoop实现了Hadoop与数据库间进行可定制的数据传递机制。

3.根据权利要求1所述的大数据环境下的数据挖掘平台的构建方法，其特征在于：所述应用层中，设计了B/S模式的用户操作界面，用户只需利用图形化界面进行操作，而不需要直接编写R代码进行数据分析和统计，实际的计算过程则是通过在底层调用R语言来实现的，从根本上屏蔽了R语言的复杂性。