[发明专利]融合笔画和义原的双通道注意力卷积神经网络情感分析模型

说明书

针对传统深度学习方法使用单一词向量导致表征能力不足，以及现有技术忽略中文词汇本身内部信息等问题，本发明的目的是为了引入更多中文语言的先验知识，进而对中文文本具有更强的表征能力，最终提升中文情感分析任务的准确率。本发明提出了融合笔画和义原特征的双通道卷积神经网络(SS‑DCCNN)模型，更好地融入针对中文词汇的语义信息。用注意力机制来识别句子中每个词对具体任务分类结果的不同影响，使句子中与其他词语关系系数较大的词语得到更多关注。具体来说，使用cw2vec方法引入了汉字的形态学特征，同时使用SAT模型提取了HowNet知识库信息，它们分别以笔画和义原作为特征提取的基础元素。最后将注意力机制和卷积神经网络相结合提取出两个通道的特征。

技术领域

本发明属于自然语言处理领域，应用于中文情感分析任务。

背景技术

一、名词解释：1.CNN(convolutional neural networks)：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。2014年Kim使用预处理词向量对句子进行映射作为输入再使用CNN(Convolutional Neural Network)获取局部敏感信息，得到高层次的句子特征进而完成英文情感分类任务。2.cw2vec模型：cw2vec(a novel method for learning Chineseword embeddings)是Shaosheng Cao等人于AAAI 2018会议中提出的基于笔画级信息的中文词向量方法。3.SAT模型：SAT(sememe attention over target model)模型，是Niu等人在Skip-Gram模型基础上，将中文知识库HowNet的词汇义原(sememe)融入模型。4.注意力机制：注意力机制是神经网络专注于其输入子集的能力，能够从众多输入中找到对当前目标更关键的信息。

二、现有技术：1.基于CNN的文本情绪分类方法：Yoon Kim提出了TextCNN模型，并将其应用到自然语言处理领域中的文本分类任务，取得了良好的分类效果。cw2vec模型：Shaosheng Cao等引入笔画n-gram信息做特征，在Skip-Gram基础上进行改进，把词语的n-gram笔画特征信息代替词语进行训练，从而进一步提升中文词向量的表现效果。SAT模型：Niu等人通过结合注意力机制，取词汇各词义嵌入的加权平均值作为该词汇的向量表示，从而在一定程度上处理多义词的问题，优化词向量。2.一种采用词向量注意力机制的双路卷积神经网络句子分类模型：郭宝震，左万利等提出的模型，该模型将注意力机制和卷积神经网络相结合，以利用word2vec和Glove两种方法得到的词向量同时作为输入，分别进行卷积和池化，并在全连接层进行融合，不仅能够使得具体分类任务下句子中的关键信息更易被提取，还能够有效地利用不同种类的词向量得到更加丰富的句子特征，进而提高分类的准确率。

三、技术问题：对于传统深度学习方法使用单一词向量的问题，每个词对应的词向量会受限于单一词向量训练模型，这种依赖性会导致表征能力不足。另一方面，郭宝震等人的方法对中文语言的针对性不足，忽略了中文词汇本身的内部信息。

发明内容

一、针对上述缺点，本发明的目的是为了引入更多中文语言的先验知识，进而对中文文本具有更强的表征能力，最终提升中文情感分析任务的准确率。具体来说，是使用cw2vec方法引入了汉字的形态学特征，使用SAT模型提取了HowNet知识库信息，它们分别是以笔画和义原作为特征提取的基础元素。

二、本发明的技术创新点：1.达到的技术效果是和郭宝震等人采用词向量注意力机制的双路卷积神经网络的句子分类模型相比能够引入更多中文语言的先验知识。2.达到的技术效果是和使用单一词向量的传统深度学习方法相比模型具有更少的参数。本文模型在谭松波数据集上得到92.17％的准确率，在汽车评论数据集上得到96.47％的准确率，高于郭宝震等人的AT-DouCNN模型0.24％和0.2％。

附图说明

附图1解释发明内容

具体实施方式

见说明书附图1所示，本文融合笔画和义原特征的双通道卷积神经网络(SS-DCCNN)模型主要由以下6部分组成：1.输入层：本文将待分类句子通过不同词向量映射方法所得到的不同词汇表示作为两个通道的输入，从而将待分类句子中的不同特征提取出来。具体而言，本文使用的是cw2vec模型和SAT模型训练出的词向量，其中cw2vec模型可以学习到词汇中的笔画特征信息，可以使得本文的SS-DCCNN模型充分利用汉字独有的形态学特征，而SAT模型通过对HowNet知识库中义原信息的提取和融入，有助于在情感分类任务中解决“一词多义”问题，使得提出的网络模型有较好的实验效果。2.词向量注意力机制：这种词向量注意力机制由zhao等提出，通过计算句子中每个词语与其他词语在分类任务中的关联系数构建该词语的上下文向量，并与该词语对应的词向量连接作为输入,能够使得句子中与其他词语关系系数较大的词语得到更多关注，这些词语往往是分类的重要信息。3.卷积层：本文使用高度分别为3、4、5的卷积核对两个不同通道的输入进行卷积，从而提取出不同通道输入的局部特征，网络最终学习到的卷积核可以视为特征提取模板，如高度为3的卷积核提取由连续三个单词构成的短语的特征。4.池化层：本文对不同的通道经过卷积层提取的局部特征进行最大池化操作，获取每个通道中最重要的特征信息。5.合并层:本文采用一个合并层合并从不同通道获取的局部特征，形成一个特征向量，从而将两个通道的不同特征融合到一起。6.输出层：在输出层使用softmax分类器输出待分类文本的分类结果，最后利用真实标签，计算损失函数值，进而使用随机梯度下降算法进行参数优化。