[发明专利]深层神经网络的辨别预训练

摘要

本发明公开了深层神经网络的辨别预训练。提出了预训练深层神经网络（DNN）的隐层的辨别预训练技术实施例。大体上，首先利用误差反向传播（BP）使用标签来辨别地训练单隐层神经网络。然后，在丢弃之前的单隐层神经网络的输出层之后，连同新输出层在之前训练的隐层的顶上添加另一随机初始化的隐层，所述新输出层表示分类或识别的目标。然后利用同一策略辨别地训练作为结果产生的多隐层DNN等等，直到达到期望数量的隐层。这产生了预训练的DNN。所述辨别预训练技术实施例具有如下的优点：使得DNN层权重接近良好的局部最优，而仍使其留在具有高梯度的范围内，从而能够有效地对其进行微调。

主权项

一种用于预训练深层神经网络DNN的计算机实施的处理，包括:利用计算机来执行下面的处理动作:（a）训练单隐层神经网络NN，所述单隐层神经网络包括：输入层，训练数据被输入到所述输入层中；输出层，从所述输出层生成输出；以及第一隐层，所述第一隐层以随机初始化的权重与所述输入层和所述输出层相互连接，其中所述训练包括：访问训练数据条目集，所述训练数据条目集中的每个数据条目具有分配到其上的对应标签（200），将所述集中的每个数据条目一个接一个地输入到所述输入层中，直到全部所述数据条目已经被输入了至少一次以产生初始的NN（202），从而在每个数据条目的所述输入之后，经由误差反向传播过程设置与所述第一隐层关联的所述权重，以使得从所述输出层生成的所述输出匹配与所述训练数据条目关联的所述标签;（b）丢弃当前输出层并且添加以随机初始化的权重与最近一个之前训练的隐层和新输出层相互连接的新的隐层，以产生新的多隐层深层神经网络（204）;（c）将所述集中的每个数据条目一个接一个地输入到所述输入层，直到全部所述数据条目已经被输入了至少一次，以产生修正的多隐层深层神经网络（206），从而在每个数据条目的所述输入之后，经由所述误差反向传播过程设置与所述新的隐层和每个之前训练的隐层关联的所述权重，以产生与所述训练数据条目关联的所述标签匹配的来自所述新输出层的输出;（d）重复动作（b）和（c），直到已经添加了规定数量的隐层（208）；以及（e）将最近产生的修正的多层DNN指定为预训练的DNN（210）。