[发明专利]一种构建情感分类模型的方法

权利要求书

1.一种构建学习模型的方法，其特征在于，该方法包括：

方法是利用人工神经网络的特点，人工神经网络本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素，找到可以代表原信息的主要成分。

2.根据权利要求1所述的构建学习模型的方法，其特征在于，所述根据输入得到编码的方法为:

在一般的神经网络中，我们输入的样本是有标签的，即有输入和目标值的，这样我们根据当前输出和目标值之间的差去改变前面各层的参数，直到收敛。但现在我们只有无标签数据，所以，我们把输入传入一个编码器，就会得到一个编码，这个编码也就是输入的一个表示，那么我们为了知道这个编码表示的就是输入，我们加一个解码器，这时候就会输出一个信息。如果输出的这个信息和一开始的输入信号比较接近，我们相信这个编码是可靠的。所以，我们就通过调整编码器和解码器的参数，使得重构误差最小，这时候我们就得到了输入信号的第一个表示了，也就是编码了。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。

3.根据权利要求2所述的构建学习模型的方法，其特征在于，通过编码器产生特征，逐层训练；

根据上面就可以得到第一层的编码，重构的误差最小让我们相信这个编码就是原输入信号的良好表达，在这里我们假设它和原信号是一样的。第二层和第一层的训练方式就没有差别了，我们将第一层输出的编码当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的编码，也就是原输入信息的第二个表达。其他层使用同样的方法依次进行。

4.根据权利要求3所述的构建网络的方法，其特征在于，配置有监督的微调；

经过上面的方法，就可以得到多层编码。实验需要的层数目要根据自己实验具体效果调试。目前它只是学习获得了一个可以良好代表输入的特征，这个特征可以最大程度上代表原输入信号。那么，为了实现分类，我们就可以在自动编码器的最顶的编码层添加一个分类器如罗杰斯特回归，然后通过标准的多层神经网络的监督训练方法去训练。

也就是说，这时候，我们需要将最后层的特征编码输入到最后的分类器，通过有标签样本，通过监督学习进行微调。

5.根据权利要求4所述的构建网络的方法，其特征在于，加入深信度网络；

深信度网络由多个限制玻尔兹曼机层组成。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

首先，一个深信度网路的连接是通过自顶向下的生成权值来指导确定的，限制波尔兹曼机相比传统和深度分层的sigmoid信念网络，它能易于连接权值的学习。

最开始的时候，通过一个非监督贪婪逐层方法去预训练获得生成模型的权值，在这个训练阶段，在可视层会产生一个向量v，通过它将值传递到隐层。反过来，可视层的输入会被随机的选择，以尝试去重构原始的输入信号。最后，这些新的可视的神经元激活单元将前向传递重构隐层激活单元，获得h，在训练过程中，首先将可视向量值映射给隐单元；然后可视单元由隐层单元重建；这些新可视单元再次映射给隐单元，这样就获取新的隐单元。执行这种反复步骤叫做Gibbs采样。本专利中我们采用Gibbs采样，而隐层激活单元和可视层输入之间的相关性差别就作为权值更新的主要依据。

采用这样的方法可以使得训练时间会显著的减少，因为只需要单个步骤就可以接近最大似然学习。增加进网络的每一层都会改进训练数据的对数概率，我们可以理解为越来越接近能量的真实表达。

6.构建深信度关系网络；

在最高两层，权值被连接到一起，这样更低层的输出将会提供一个参考的线索或者关联给顶层，这样顶层就会将其联系到它的记忆内容。在预训练后，深信度网络可以通过利用带标签数据用BP算法去对判别性能做调整。在这里，一个标签集将被附加到顶层（推广联想记忆），通过一个自下向上的，学习到的识别权值获得一个网络的分类面。这个性能会比单纯的BP算法训练的网络好。深信度网络的BP算法只需要对权值参数空间进行一个局部的搜索，这相比前向神经网络来说，训练是要快的，而且收敛的时间也少。