[发明专利]一种数据挖掘方法和装置、一种可读介质和存储控制器

说明书

技术领域

本发明涉及数据分析及挖掘技术领域，特别涉及一种数据挖掘方法和装置、一种可读介质和存储控制器。

背景技术

随着信息技术的快速发展和互联网逐渐的被广泛应用，特别是云计算和大数据时代的来临，互联网上的数据正在呈指数级增长，而互联网同时成为了最重要的信息来源。但是，互联网的信息具有数据量大、维度高、结构复杂不规则，而且包含大量的噪声数据，于是面对如此庞大、复杂的信息，如何快速的组织、管理、利用、挖掘出有价值的信息是一些非常重大的挑战。

数据挖掘又称数据库中的知识发现，是指从大量的不完全的、有噪声的、模糊的数据中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式。

传统的数据挖掘方法一般只适用于低维的小数据集，对于多维度的海量大数据时，由于运算时间和对计算资源的要求的不断提高，致使传统的数据挖掘方法在进行数据挖掘时成本过高并且效率较低。

发明内容

本发明实施例提供了一种数据挖掘方法和装置、一种可读介质和存储控制器，能够降低数据挖掘的成本以及提高数据挖掘的效率。

第一方面，本发明实施例提供了一种数据挖掘方法，该数据挖掘方法包括：

将原始数据存储于分布式文件系统HDFS上，并分配到至少一个数据节点上；

将具有M维特征向量的原始数据进行降维处理，形成具有m维特征向量的低维数据，其中M>m；

按照预设比例，在每一个数据节点上将低维数据划分为训练数据和测试数据；

在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型；

利用上述的多层感知器分类模型对测试数据进行预测，确定多层感知器分类模型的预测准确性并实现数据挖掘。

优选地，在每一个数据节点上将低维数据划分为训练数据和测试数据之后，进一步包括：

在每一个数据节点上训练数据组成训练数据集，以及测试数据组成测试数据集；

在在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型之前，进一步包括：

通用并行框架Spark平台从HDFS中读取每一个数据节点上的训练数据集；

Spark平台将读取的每一个训练数据集转换为弹性分布式数据集RDD对象；

Spark平台将每一个RDD对象存储在内存中；

在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型，包括：

Spark平台将RDD对象分配到数据节点上进行训练，获得多层感知器分类模型。

优选地，Spark平台将RDD对象分配到数据节点上进行训练，获得多层感知器分类模型，包括：

通过Pipelining技术将训练执行流程分解为多个工作阶段；

将每一个工作阶段分配到数据节点上；

在数据节点上执行每一个工作阶段，获得多层感知器分类模型。

优选地，在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型，包括：

设定训练参数t，初始化权值ω(0)，其中t＝0，ω(0)为小的随机数；

对于训练数据执行下述训练：

S1：对训练数据进行计算，从输入层经过隐含层到达输出层获得各层输出值

S2：对输出层计算训练误差δ：

S3：从输出层向输入层计算隐含层的训练误差δ：

S4：计算并保存各个加权值的修正量其中，γ为动量项的学习率；

S5：修正加权值：ω_ij(t+1)＝ω_ij(t)+Δω_ij；

S6：判断当前训练数据t是否收敛性，若是，则结束训练，否则，将训练数据t+1作为当前训练数据，执行S1。

第二方面，本发明实施例提供了一种数据挖掘装置，该数据挖掘装置包括：分配单元、降维单元、划分单元、训练单元和挖掘单元，其中，

分配单元，用于将原始数据存储于分布式文件系统HDFS上，并分配到至少一个数据节点上；

降维单元，用于将具有M维特征向量的原始数据进行降维处理，形成具有m维特征向量的低维数据，其中M>m；

划分单元，用于按照预设比例，在每一个数据节点上将低维数据划分为训练数据和测试数据；

训练单元，用于在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型；

挖掘单元，用于利用上述的多层感知器分类模型对测试数据进行预测，确定多层感知器分类模型的预测准确性并实现数据挖掘。