[发明专利]一种机器学习方法和机器学习装置

说明书

本发明提供了一种机器学习方法和机器学习装置。所述机器学习方法包括：根据获取的训练样本集构建原始输入矩阵和原始输出矩阵；利用第一随机权重和第一随机数基于原始输入矩阵构建映射特征节点矩阵；利用第二随机权重和第二随机数基于映射特征节点矩阵构建增强节点矩阵；根据由映射特征节点矩阵和增强节点矩阵组成的增广矩阵以及原始输出矩阵来确定连接权重矩阵。在本发明的机器学习方法和机器学习装置中，不仅添加了神经网络中输入层与输出层直接的连接的因素，而且添加了输入层与输出层之间更多隐藏层的因素，因此具有既能满足计算效率又能保证学习精度的宽度学习方法的优势。

技术领域

本发明涉及人工智能领域,特别涉及一种机器学习方法和机器学习装置。

背景技术

深层结构祌经网络和学习已经在许多领域得到应用，并在许多应用中取得了突破性的成功，特别是在大规模数据处理中。其中，最受欢迎的深度网络是深度彳目任网络(Deep Belief Networks，DBN)，深度玻尔兹曼机器(Deep Boltzmann Machines，DBM)间和卷积祌经网络(Convolutional neural Networks，CNN)。即使深度结构网络如此强大，但大多数网络都受到极度耗时的训练过程的困扰，因为以上深度结构复杂并且涉及到大量的超参数。此外，这种复杂性使得在理论上分析深层结构变得困难。为了在应用中获得更高的精度，模型不得不增加网络层数或者调整参数个数。最近，一系列以提高训练速度为目的的深度结构的方法,以及一系列结合方法逐渐引起人们关注。

单层前馈祌经网络(Single layer feed forward neural networks，SLFN)已被广泛应用于分类和回归等问题，因为它们具有全局的逼近性质。训练SLFN的常规方法是基于梯度下降的学习算法。它们的泛化性能对某些参数设置，例如学习率，非常敏感。更重要的，他们通常在训练过程中局限在局部最小值中。由Pao提出的随机向量函数链接祌经网络(random vector functional link neural network，RVFLNN)提供了不同的学习方法。

RVFLNN有效地消除了训练过程过长的缺点，同时也提供了函数逼近的泛化能力。同时，理论上也可以证明，对于紧集上的连续函数，RVFLNN是具有快速学习特性的全局近似。因此，RVFLNN已经被用来解决不同领域的问题，包括函数建模和控制等应用。虽然RVFLNN显着提高了感知器的性能，但是在当今大数据时代，仿真模拟以大容量和时间多变性为本质特性的大数据时，这种网络并不能胜任。为了对中等大小数据进行建模，提出了一种动态逐步更新算法，用于更新RVFLNN中新增加输入数据和新添加的增强节点的输出权重。这项工作为调整遇到新的输入数据的系统铺平了道路。

如今，除了数据量的增长之外，数据的维度也大大增加。假如将原始的”大“数据直接输入祌经网络，系统往往无法再保持其有效性。如何处理高维数据最近成为迫在眉睫的问题。克服这个难题的两个常见做法是降维和特征提取。其中，特征提取目的是寻求从输入数据到特征向量的最佳函数变换。易于实现和效率突出的特征提取常用方法包括，变量排序(variable ranking)，特征子集选择(feature subset selection)，惩罚最小二乘法(penalized least squares，随机特征提取方法，包括非自适应随机投影(non-adaptiverandom projections)和随机森林(random forest)以及基于卷积的输入映射等等。但是这些方法都无法实现效率和精度的最优。

发明内容

为了解决上述问题，本发明提供一种机器学习方法和机器学习装置，能够保证效率和精度的最优。第一方面，提供了一种机器学习方法，包括：根据获取的训练样本集构建原始输入矩阵和原始输出矩阵；利用第一随机权重和第一随机数基于所述原始输入矩阵构建映射特征节点矩阵；利用第二随机权重和第二随机数基于所述映射特征节点矩阵构建增强节点矩阵；根据由所述映射特征节点矩阵和所述增强节点矩阵组成的增广矩阵以及所述原始输出矩阵来确定连接权重矩阵。