[发明专利]一种融合生成非对抗网络与卷积神经网络的情感分析方法

权利要求书

1.一种融合生成非对抗网络与卷积神经网络的情感分析方法，其特征在于，包括以下步骤：

S1：建立用于生成全局语义信息的生成非对抗网络；

S2：建立通过特征抽取融合局部语义信息的卷积神经网络；

S3：通过非对抗网络生成全局信息，结合卷积神经网络提取局部信息，最终进行融合生成非对抗网络与卷积神经网络的情感分析的模型训练与测试；

所述步骤S1的具体过程是：

S11：构建一个生成器G，与一个判别器D，让二者呈现非对抗状态，其中这两个都是由3层全连接网络构成，将G与D随机初始化；

S12：首先将句子中所有单词的词向量拼接成为一个向量A，经过生成器G，得到一个压缩之后的真实文本表达向量，其次随机生成一个与A向量维度一致的向量，也同样经过生成器G，得到一个压缩之后的非文本表达向量；

S13：固定生成器G，将真实文本表达向量与非文本表达向量分别输入判别器D，再经过一个softmax层，真实文本表达向量的label定为1，非文本表达向量的label定为0，使用交叉熵作为损失函数，以这个为分类目标训练判别器D；

S14：训练完判别器D之后固定判别器D，训练生成器G；

S15：重复迭代S13与S14步骤，直到整个结果趋于收敛后停止训练，只取出生成器G；

经过训练后，此时的生成器G具备了提取句子全局信息并将其压缩到低维表示的能力，之后将各个待预测句子输入G即可得到该句子的全局语义表达；训练目标是使G与D相互协作，因此G与D之间不是对抗关系，但是G与D的结构以及相互联系与对抗网络一致，故此结构称为生成非对抗网络。

2.根据权利要求1所述的融合生成非对抗网络与卷积神经网络的情感分析方法，所述步骤S2的具体过程是：

S21：给定一个句子，首先将句子中的每一个单词映射为词向量，但由于卷积神经网络无法很好地捕获到词序信息，因此我们需要对输入进行一些补充；

S22：位置向量是为了使卷积神经网络捕获到词序信息，位置向量的维度与词向量的维度一致，位置向量的公式为与其中，pos为单词在句子中的位置，而i与词向量的维度相对应，也即根据公式可以将位置向量的每一维度的值算出，计算出位置向量后，将原有单词词向量与位置向量拼接，即最终每个单词向量的维度变为原来的两倍；

S23：使用多个不同宽度的卷积核依次对句子进行卷积操作，其中卷积核的大小跟拼接后的单词向量维度一致；

S24：将多个卷积核提取到的特征向量分别经过池化操作，并拼接起来，得到一个可以视做卷积神经网络提取出来的句子表示向量，并且将S1步骤中得到的全局语义信息与之拼接，得到最终的句子表示；

S25：将上一轮得到的句子表示经过前馈神经网络得到三元输出，其中，前馈神经网络其实就是全连接网络，对输入进行线性变换；

S26：将得到的三元输出经过softmax层，转换成对应的概率，对应的公式为

S27：使用交叉熵的作为损失函数，计算梯度，采取反向传播算法更新网络。

3.根据权利要求2所述的融合生成非对抗网络与卷积神经网络的情感分析方法，结合卷积神经网络提取局部信息，最终进行融合生成非对抗网络与卷积神经网络的情感分析的模型的训练与测试，所述步骤S3的具体过程如下：

S31：首先训练非对抗网络，每一轮迭代有两个输入，一个是经过词嵌入将句子转换成的向量矩阵，一个是随机生成的非句子向量矩阵，采取生成器与判别器交替训练的方式，即先固定生成器训练判别器，在固定判别器训练生成器，依次交替，但是最后一轮必须是固定判别器训练生成器，之后将训练好的非对抗网络中的生成器取出，迭代次数为1000；

S32：接下来训练卷积神经网络的部分，经过词嵌入与位置向量的拼接将句子转为向量矩阵，输入卷积神经网络中，使用交叉熵作为损失函数，将数据集以8：1：1的比例分为训练集、验证集与测试集，使用训练集进行训练，batch_size设定为128，迭代1000个epoch，每隔一个epoch在验证集上进行准确率的验证；

S33：将训练好的模型保存，并用这个模型在情感分类测试集上进行测试，并使用正确率这一验证指标。