[发明专利]一种基于句法关系和意见词分布的细粒度情感分析方法

权利要求书

1.一种基于句法关系和意见词分布的细粒度情感分析方法，其特征在于包括如下步骤：

步骤(1)根据输入的句子W构建初始化词嵌入向量Token Embedding和位置编码向量Position Embedding，并将其作为bert预训练模型的输入，训练后得到句子向量；

步骤(2)对句子W进行依存句法分析，获取到句中词与词的依赖关系；

步骤(3)根据已知的方面词和步骤(2)获取的依赖关系，对句子中与方面词有直接依赖关系的关键词进行提取，提取到的关键词存储到集合Key中；

步骤(4)根据集合Key中的关键词，构建意见词分布向量；

步骤(5)运用意见词分布向量对步骤(1)获得的句子向量进行特征变换，计算后得到情感特征向量；

步骤(6)将情感特征向量输入到分类器Softmax中，对目标方面词进行情感预测。

2.根据权利要求1所述的一种基于句法关系和意见词分布的细粒度情感分析方法，所述步骤(1)具体实现过程如下：

1-1构建bert预训练模型输入的Token Embedding，由于该方法使用bert的目的只是为了训练语言模型，并获得句子向量，所以输入构建为[CLS]+文本句+[SEP]的形式；在给定输入句子序列为W＝{w₁，w₂，...，w_n}，其中n表示句子长度，并构建初始化嵌入向量TokenEmbedding：

X＝([CLS]，w₁，w₂，...，w_n，[SEP]) (1)

1-2构建bert预训练模型输入的Position Embedding，为了获得句中每个词的顺序特征，这里与transformer不同，不采用正弦余弦的编码方式，而是随机初始化学习而来；其表达式为：

PE＝(E₀，E₁，...，E_n，...，E_n+1) (2)

其中，E₀，E₁，...，E_n+1分别表示公式(1)X中[CLS]，w₁，w₂，...，w_n和[SEP]的位置编码；X与PE对应，E₀是[CLS]对应的位置编码；w₁，w₂，...，w_n是E₁，...，E_n对应的位置编码；E_n+1是[SEP]对应的位置编码；

1-3构建好的Token Embedding和Position Embedding连接后输入到bert模型，并取[CLS]和[SEP]之间的特征向量作为文本句W的隐层特征向量，记为H₀∈R^d×n，其过程总结为下式：

H₀＝Bert(X；PE)＝{h₁，h₂，...h_n} (3)。

3.根据权利要求1所述的一种基于句法关系和意见词分布的细粒度情感分析方法，其特征在于所述步骤(2)具体实现过程如下：

依存句法分析Dependency Parsing能够对输入的句子进行依赖解析，并得到句子中词与词之间的依赖关系，以及每个词的词性标注结果；具体实现过程记为下式：

D_par(W)＝Dependency_Parsing(W) (4)。