[发明专利]一种通用化的人工神经网络无监督本地学习方法、系统及应用

说明书

本发明涉及一种通用化的人工神经网络无监督本地学习方法、系统及应用，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练。本发明提出的神经网络学习方法是无监督的,无需人工标注标签，可以从无标签数据中高效提取特征。本发明学习方法提取的特征是通用的、可以作为各类学习任务的输入有效提升各类学习任务的准确率。本发明学习方法训练的神经网络可以作为各类任务的预训练模型提升各类任务准确性。本发明学习方法不同于广泛使用的反向传播方法，更容易实现基于硬件的人工神经网络的片上训练，支撑光AI芯片等技术的发展。

技术领域

本发明涉及一种通用化的人工神经网络无监督本地学习方法、系统及应用，属于人工智能技术领域。

背景技术

目前，人工神经网络主要依赖于反向传播技术进行网络的训练和学习，并且在视觉、自然语言处理等领域取得了巨大成功。反向传播技术会通过反向的方式计算神经网络中损失函数对各参数(神经元连接权重)的梯度，通过随机梯度下降等优化方法修改参数，实现损失函数的最小化。但是，反向传播技术完全不同于人脑的工作机制，它很难从少量样本数据中获得足够的特征，导致它在各类图像、语音、文本、时序的识别、检测、分割、预测等学习任务上需要大量的训练数据，在小样本的情况下准确率较低，这限制了人工智能技术在诸多例如工业场景中的应用。此外，基于反向传播训练的神经网络系统对于对抗攻击也存在一定的安全问题，例如在给定的人脸图像上加入一定的对抗噪音可以很容易的让机器识别成其他的人。探索不同于反向传播的实用化的神经网络学习技术和系统是人工智能领域的核心问题之一。

发明内容

本发明针对反向传播技术的一系列局限性，提出了一种大脑启发的能够实用化的人工神经网络学习方法和系统，它建立了一个简单的学习规则能够基于输入数据通过无监督的方式对神经网络的参数进行调整和学习，并能够广泛的运用于各类人工智能应用场景，包括但是不限于图像、语音、文本、时序的分类、识别、生成、检测、分割、预测等任务，提高了学习任务的准确率。

本发明技术方案，可以从大量无标签数据中提取无监督特征或构建通用的无监督预训练模型，提升当前反向传播技术下的各类人工智能学习任务的准确率。本发明技术方案，也可以同时将数据和标签作为神经网络的输入进行联合学习，通过无监督的方式提取数据和标签的关联特征，建立新的人工神经网络训练和推理模式。相比于当前主流的反向传播技术，本发明技术方案能够从少量的样本数据中学习数据中的各种特征和关联性，对对抗攻击和外部干扰具有更好的鲁棒性，为通用任务人工智能的发展打开一个新的窗口。

本发明提出了一种完全不同于反向传播的神经网络训练方法，它是前向训练的、完全本地的、无监督的，可以从很少的样本中获得大量本地化的特征信息，而且相比于反向传播方法表现出更好的安全性。基于这种无监督的学习方法，可以从大量无标签数据中提取特征或构建通用的无监督预训练模型，提升各类学习任务的准确率。

本发明还提供了上述基于人工神经网络无监督本地学习方法的应用以及一种基于人工神经网络无监督本地学习方法的分类识别系统。

本发明的技术方案为：

一种通用化的人工神经网络无监督本地学习方法，人工神经网络为一个多层的神经网络，包括：每层的参数通过无监督本地学习方法训练，每层的参数w使用一个矩阵来表示，该矩阵描述了两层神经元之间的连接权重；给定了某一层的输入数据x，该层的输出为f(w^Tx)，f为非线性激活函数，每一层神经元的训练方法如式(I)所示：

△w_ij＝ηy_j(x_i-∑_k y_kw_ik) (I)