[发明专利]一种数据挖掘方法和装置、一种可读介质和存储控制器

权利要求书

1.一种数据挖掘方法，其特征在于，该方法包括：

将原始数据存储于分布式文件系统HDFS上，并分配到至少一个数据节点上；

将具有M维特征向量的原始数据进行降维处理，形成具有m维特征向量的低维数据，其中M>m；

按照预设比例，在每一个数据节点上将低维数据划分为训练数据和测试数据；

在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型；

利用上述的多层感知器分类模型对测试数据进行预测，确定多层感知器分类模型的预测准确性并实现数据挖掘。

2.根据权利要求1所述的数据挖掘方法，其特征在于，在每一个数据节点上将低维数据划分为训练数据和测试数据之后，进一步包括：

在每一个数据节点上将训练数据组成训练数据集，以及将测试数据组成测试数据集；

在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型之前，进一步包括：

通用并行框架Spark平台从HDFS中读取每一个数据节点上的训练数据集；

Spark平台将读取的每一个训练数据集转换为弹性分布式数据集RDD对象；

Spark平台将每一个RDD对象存储在内存中；

在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型，包括：

Spark平台将RDD对象分配到数据节点上进行训练，获得多层感知器分类模型。

3.根据权利要求2所述的数据挖掘方法，其特征在于，Spark平台将RDD对象分配到数据节点上进行训练，获得多层感知器分类模型，包括：

通过Pipelining技术将训练执行流程分解为多个工作阶段；

将每一个工作阶段分配到数据节点上；

在数据节点上执行每一个工作阶段，获得多层感知器分类模型。

4.根据1至4任一权利要求所述的数据挖掘方法，其特征在于，在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型，具体过程包括：

设定训练参数t，初始化权值ω(0)，其中t＝0，ω(0)为小的随机数；

对于训练数据执行下述训练：

S1：对训练数据进行计算，从输入层经过隐含层到达输出层获得各层输出值

S2：对输出层计算训练误差δ：

S3：从输出层向输入层计算隐含层的训练误差δ：

S4：计算并保存各个加权值的修正量其中，γ为动量项的学习率；

S5：修正加权值：ω_ij(t+1)＝ω_ij(t)+Δω_ij；

S6：判断当前训练数据t是否收敛性，若是，则结束训练，否则，将训练数据t+1作为当前训练数据，执行S1。

5.一种数据挖掘装置，其特征在于，该装置包括：分配单元、降维单元、划分单元、训练单元和挖掘单元，其中，

分配单元，用于将原始数据存储于分布式文件系统HDFS上，并分配到至少一个数据节点上；

降维单元，用于将具有M维特征向量的原始数据进行降维处理，形成具有m维特征向量的低维数据，其中M>m；

划分单元，用于按照预设比例，在每一个数据节点上将低维数据划分为训练数据和测试数据；

训练单元，用于在每一个数据节点上对训练数据进行训练，获得多层感知器分类模型；

挖掘单元，用于利用上述的多层感知器分类模型对测试数据进行预测，确定多层感知器分类模型的预测准确性并实现数据挖掘。

6.根据权利要求5所述的数据挖掘装置，其特征在于，该装置进一步包括：集合单元和通用并行框架Spark平台，其中，

集合单元，用于在每一个数据节点上训练数据组成训练数据集，以及测试数据组成测试数据集；

Spark平台，用于从HDFS中读取每一个数据节点上的训练数据集、将读取的每一个训练数据集转换为弹性分布式数据集RDD对象以及将每一个RDD对象存储在内存中；

训练单元，具体用于通过Spark平台将RDD对象分配到数据节点上进行训练，获得多层感知器分类模型。