[发明专利]大数据环境下的数据挖掘平台的构建方法

说明书

 

技术领域

本发明涉及一种大数据环境下的数据挖掘平台的构建方法，结合云计算、虚拟化和Hadoop等技术，集成了R语言，适用于处理不同规模、类型多样的数据集，允许用户通过Web界面的方式进行数据挖掘、分析。

背景技术

随着信息化的推进，企事业单位产生或拥有了海量业务数据，其中蕴藏着大量未知的、潜在的信息。数据挖掘是一种新的商业信息处理技术，在银行、电信、保险、交通、零售等领域得到了普遍的应用。通过对大量业务数据进行抽取、转换、分析和其他模型化处理，可提取辅助做出正确而关键的决策。面对的数据量越来越大，针对大数据的挖掘、分析日趋得到关注。但是，单机模式的分析受限于内存容量和计算能力，使得传统的数据挖掘、分析方法在大数据环境下不再有效。

云计算的出现，为解决大数据问题提供了有效的途径。云计算、虚拟化技术可以有效地整合基础设施资源，为大数据的挖掘、分析提供了计算和存储能力。Hadoop是MapReduce编程模型的开源实现，为大数据的计算和存储提供了可用框架。开源软件R是当今相当流行的数据分析、统计制图语言，具有丰富的分析模块和实用工具，在业界已得到广泛应用。为了充分挖掘、分析大数据的价值，为用户提供功能强大的数据挖掘、分析功能，设计一个集成了R语言、易用的大数据挖掘平台，具有很好的应用价值。

发明内容

发明目的：本发明提供一种大数据环境下的数据挖掘平台的构建方法，集成R语言作为数据分析引擎，设计了一个能够处理大数据环境下的数据挖掘平台。利用该平台进行数据挖掘，用户可以解决一些典型的数据挖掘问题，如客户细分、交叉销售，以及客户流失性分析、客户信用评价等问题。

为了实现上述目的，所构建系统的体系结构如下：

物理层：由服务器、PC机、网络设备等硬件组成，为大数据处理提供必需的硬件基础。 

虚拟化层：采用开源云平台解决方案CloudStack 4.0搭建虚拟机集群，整合基础设施资源，为整个系统提供了可扩展的、易管理的计算和存储能力；然后，在虚拟机上部署Hadoop环境和MySQL集群，用于支持大数据的读写和存储。

服务层：部署RHadoop环境，使得R语言引擎能够运行在Hadoop集群之上，既可以充分发挥R语言在统计计算和绘图方面的强大功能，同时可以利用Hadoop在并行计算和扩展性方面的能力弥补R语言在处理大数据时的不足；开发服务，在服务中封装通常用到的数据挖掘方法实现的功能，包括4个大类10种数据挖掘算法，分别是：分类与预测的决策树、SVM支持向量机和神经网络算法；聚类分析的 K-Mmeans、Pam、Clara、Agnes和Diana算法；回归分析的多元回归；时间序列分析的ARIMA模型分析方法。

应用层：以Web界面的方式向用户服务层实现的各种功能。用户可以建立分析流程，包括：设置数据来源、选择分析方法、设置分析参数、数据挖掘与分析、得出分析结果并展示。

技术方案：一种大数据环境下的数据挖掘平台的构建方法，包括如下几个步骤：

步骤1：基础设施虚拟化。采用虚拟化技术能实现主机和存储资源的一体化整合和共享利用。将设施虚拟化，包括服务器虚拟化、存储虚拟化、网络虚拟化。主要从两个方面进行虚拟化，建立两个虚拟化池即计算虚拟化池和存储虚拟化池。计算虚拟化池主要实现应用虚拟化，在计算资源层面包括服务器虚拟化和应用中间件虚拟化。存储虚拟化池主要实现数据存储虚拟化，在存储层面包括存储硬件架构虚拟化和存储软件虚拟化。本发明按照上述思路搭建主机、管理节点、多台计算节点以及网络设备等硬件，为大数据处理提供必需的硬件基础。

步骤2：部署虚拟化器件，即虚拟机实例化的阶段。此流程大致分为以下几个步骤：

（1）   选择虚拟器件并定制化；

（2）   保存定制化参数文件；

（3）   选择部署的目标物理机服务器；

（4）   拷贝虚拟器件的相关文件；

（5）   在目标机上启动部署后的虚拟器件。

步骤3：开源云计算解决方案CloudStack的安装。使用CloudStack作为基础，用户可以快速方便地在现有的基础架构上创建私有的云计算平台，其安装过程主要包含以下几步：

（1）   配置安装源（管理和计算节点均需要配置）；

（2）   安装CloudStack Management Server；

（3）   安装MySQL数据库；

（4）   安装HOST主机；