[发明专利]基于可形变自注意力机制的社交网络文本情感分析方法

说明书

本发明公开了一种基于可形变自注意力机制的社交网络文本情感分析方法，用于分析用户话语的情感。步骤如下：将用户话语文本数据中的每个句子切分为词，将每个词用词向量表示；将词向量序列输入双向循环神经网络(Bi‑LSTM)中得到每个词的编码表示；利用可形变自注意力机制，将词的编码表示转化为多种具有不同上下文范围的句子编码表示；将多种句子编码表示融合得到一个句子编码表示；将融合的句子编码表示输入到前馈神经网络(FFN)中分类，输出结果；根据模型输出结果和数据真实结果，最小化交叉熵损失函数迭代训练模型更新参数；将待分类的社交网络文本输入到经过训练的模型得到情感分析结果。

技术领域

本发明涉及自然语言处理中的社交网络文本情感分析技术领域，具体涉及一种基于可形变自注意力机制的社交网络文本情感分析方法。

背景技术

互联网中基于用户关系而成的内容生产与交换的平台即社交网络，人们彼此之间可以分享意见观点。利用文本情感分析方法，可以自动化的提取用户对一些事物如产品、服务、事件等的情感偏向，从而帮助用户更好的挑选自己喜欢的产品，帮助商家提供更加优质的产品和服务等。利用舆情情感分析还可以预测民众对社会事件的态度，情绪的变化趋势，从而有利于企业和政府机构即时做出相应调整等。社交网络文本情感分析是自然语言处理中很重要的研究领域，在如今互联网的迅速发展下，有着重要的实践和应用价值。

在文本情感分析的局部上下文特征提取方面，国内外目前的方法都是提取固定尺度的上下文特征或者只考虑全局的上下文特征。然而，文本中局部上下文信息很重要，且不同的词所需要的局部上下文大小是不一样的。一些人使用卷积神经网络(CNN)，该方法采用固定大小的卷积核提取几种尺度的上下文特征(具体参见：R.Johnson and T.Zhang,“Deeppyramid convolutional neural networks for text categorization,”inProc.Annu.Meeting Assoc.Comput.Linguistics,2017.)。有些人使用自注意力模型模型(具体参见：Z.Lin,M.Feng,C.N.dos Santos,M.Yu,B.Xiang,B.Zhou,and Y.Bengio,“Astructured self-attentive sentence embedding,”2017.)，然而，RNN由于顺序的编码每一个词，它没有直接建模多尺度的上下文特征，自注意力模型提取的是全局的上下文特征。有一些局部自注意力模型也考虑了局部上下文特征，具体参见：T.Shen,T.Zhou,G.Long,J.Jiang,and C.Zhang,“Tensorized self-attention:Efficiently modeling pairwiseand global dependencies together,”in Proc.Conf.North Amer.ChapterAssoc.Comput.Linguistics,2019,pp.1256–1266.)，但是这种模型提取的上下文特征也是固定尺度的。目前国内外的方法都没有很好的针对不同的词学习不同的尺度的局部上下文特征，提取的都是固定尺度或者全局尺度的上下文。考虑到这一点，目前亟待提出一种基于可形变自注意力机制的社交网络文本情感分析方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于可形变自注意力机制的社交网络文本情感分析方法，可根据不同词自适应提取不同尺度局部上下文特征，该方法先计算出每个词所需要的局部上下文大小，然后利用可形变自注意力机制对每个词在所学得的局部上下文大小内进行特征的提取，接着融合多种范围的局部上下文特征，得到最终的输入特征表示。

本发明的目的可以通过采取如下技术方案达到：

一种基于可形变自注意力机制的社交网络文本情感分析方法，所述的社交网络文本情感分析方法包括以下步骤：