[发明专利]基于局部上下文焦点机制和交谈注意力的方面级情感分析

权利要求书

1.基于局部上下文焦点机制和交谈注意力的方面级情感分析，其特征在于：包括如下步骤：

步骤S1、构建包括BERT预训练层、特征提取层、特征学习层和输出层的分析模型；

步骤S2、BERT预训练层将待分析语料处理为局部上下文形式序列和全局上下文形式序列，并分别对局部上下文形式序列和全局上下文形式序列中的词进行建模，得到初步局部上下文特征和初步全局上下文特征

步骤S3、在特征提取层，利用局部上下文焦点机制，通过上下文特征动态掩码技术结合交谈注意力机制来进一步提取局部上下文特征，并使用交谈注意力机制提取全局上下文特征，具体包括：

步骤S31、根据公式计算局部上下文形式序列的语义相对距离，其中，i表示局部上下文形式序列中词的位置，F_a表示局部上下文形式序列中方面词的位置，n表示局部上下文形式序列中方面词的长度；

步骤S32、通过上下文特征动态掩码技术来帮助模型捕捉局部上下文特征，得到局部上下文特征其中，M＝[V₁,V₂,...V_n]为用于屏蔽非局部上下文特征的屏蔽矩阵，为局部上下文形式序列中每个上下文词的掩码向量，i＝1,2,…,n，a为语义相对距离阈值，E为长度为n的1向量，O为长度为n的0向量；

步骤S33、采用交谈注意力机制进一步提取局部上下文特征采用交谈注意力机制提取全局上下文特征

步骤S4、在特征学习层，将局部上下文特征O^l和全局上下文特征O^g进行融合得到融合向量，并采用交谈注意力机制提取融合向量的特征

步骤S5、在输出层，根据融合向量的特征获取方面级情感分析的结果。

2.根据权利要求1所述的基于局部上下文焦点机制和交谈注意力的方面级情感分析，其特征在于：所述步骤S2中，将待分析语料预处理为局部上下文形式序列和全局上下文形式序列具体为：将待分析语料分别处理成局部上下文形式序列X^l＝[CLS]+上下文+[SEP]、全局上下文形式序列X^g＝[CLS]+上下文+[SEP]+方面词+[SEP]的形式，其中，[CLS]可以作为整个句子的语义表示。

3.根据权利要求2所述的基于局部上下文焦点机制和交谈注意力的方面级情感分析，其特征在于：所述步骤S2中，BERT预训练层采用第一BERT训练模型BERT^l对X^l进行建模得到采用第二BERT训练模型BERT^g对X^g进行建模得到其中，第一BERT训练模型BERT^l和第二BERT训练模型BERT^g相互独立。

4.根据权利要求1或2或3所述的基于局部上下文焦点机制和交谈注意力的方面级情感分析，其特征在于：所述步骤S4中，所述融合向量的特征为其中，O^lg＝[O^l；O^g]，W^lg表示权重系数矩阵，b^lg表示偏置向量，为一个全连接层。

5.根据权利要求1或2或3所述的基于局部上下文焦点机制和交谈注意力的方面级情感分析，其特征在于：所述步骤S5中，所述输出层为非线性层，将所述融合向量的特征输入非线性层，利用softmax函数进行预测：其中，为分析结果，W_o为权重矩阵，b_o为偏置向量。