[发明专利]一种通用化的人工神经网络无监督本地学习方法、系统及应用

权利要求书

1.一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练，每层的参数w使用一个矩阵来表示，该矩阵描述了两层神经元之间的连接权重；给定了某一层的输入数据x，该层的输出为f(w^Tx)，f为非线性激活函数，每一层神经元的训练方法如式(I)所示：

△w_ij＝ηy_j(x_i-∑_ky_kw_ik) (I)

式(I)中，w_ij是指人工神经网络中下一层的神经元i和本层神经元j之间的连接权重，△w_ij是该连接权重的变化量，η是学习率，x_i是训练时来自于神经元i的输入，y_j＝∑_jx_iw_ij是神经元j的总加权输入或者y_j＝f(∑_jx_iw_ij)是神经元j的输出，∑_ky_kw_ik是指来自于反馈的衰减项，k遍历了本层的所有神经元；

在训练某一层神经元的时候，给定一个训练样本，通过前馈的方式计算出本层的输入x和y＝w^Tx，并根据式(I)计算出本层参数的修改量△w_ij，，最后将w_ij替换成w_ij+△w_ij。

2.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，所述式(I)用矩阵和向量的形式表示，如式(II)所示：

△w＝ηy(x-wy)^T (II)

式(II)中w是本层的参数即连接权重，x是本层的输入向量，y＝w^Tx是总加权输入，(x-wy)^T是x-wy的转置；

或者，所述式(I)拓展成更普遍的形式，如式(III)所示：

△w＝ηf(y)(x–g(w,y))^T (III)

式(III)中，w是本层的参数即连接权重，x是本层的输入向量，y＝w^Tx是总加权输入，f(y)是y的一个函数，g(w,y)是w和y的一个函数。

3.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，所述人工神经网络中每一层是全连接层、本地连接层或卷积层；在卷积层的训练中，计算不同位置的△w_ij的平均值，并根据该平均值来更新w_ij。

4.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，无监督本地学习方法自底向上的训练任意多层的神经网络；每一层都从之前一层的数据中提取主要特征，并通过非激活函数对数据进行变换；训练后的人工神经网络实现非监督的特征提取，越高的特征层表示越复杂的特征。

5.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络中的非激活函数采用平方函数，每一层的输出特征进行层归一化处理。

6.根据权利要求1所述的一种通用化的人工神经网络无监督本地学习方法，其特征在于，人工神经网络每一层逐层训练或所有层联合一起训练；如果每一层逐层训练，从最底层开始，依次向上逐层训练；如果所有层联合一起训练，在训练过程中同时学习调整所有层的参数。

7.权利要求1-6任一所述的一种基于人工神经网络无监督本地学习方法的应用，其特征在于，包括用于分类识别、工业检测、医学影像诊断、图像分割、时序预测、文本翻译、语音识别。