[发明专利]一种方面级情感分析的预训练语义组合细化方法

权利要求书

1.一种方面级情感分析的预训练语义组合细化方法，其特征在于包括以下步骤：

S1.将评语句子X与其待评测的方面目标A组成一个句子对，送入一个预训练神经网络语言模型BERT中，得到方面级情感分析的预训练语义H，然后分别将H送入步骤S2的全局语义细化模块与步骤S3的多粒度局部语义细化模块；

S2.将预训练语义H送入一个串行的多层逐点卷积层，进行逐点语义细化，得到全局语义细化的初级语义H^g，并将H^g和预训练语义H进行组合，得到组合全局细化语义然后将的平均池化向量与中分类符的隐藏状态相连接，通过一个门控机制组合成全局语义细化的输出向量Z^g，最后转步骤S4；

S3.将预训练语义H分别送入三个窗口尺寸不相同且连续的并行卷积神经网络，进行多粒度局部语义细化，并将三个并行卷积神经网络的输出进行最大化池化，然后将三个并行卷积神经网络的最大化池化向量连接起来，得到多粒度局部语义细化的输出向量Z^l；

S4.将全局语义细化的输出向量Z^g与多粒度局部语义细化的输出向量Z^l组合起来，得到待评测的方面目标A的最终情感分类向量Z，然后将Z送入一个全连接的分类层，对待评测的方面目标A进行情感预测；

S5.使用步骤S1到步骤S4，在方面级情感分析数据集Ψ的训练集上，对预训练神经网络语言模型BERT进行微调；

S6.使用步骤S5微调的BERT模型，并采用步骤S1到步骤S4，对方面级情感分析数据集Ψ的测试集中的方面目标进行情感极性分类；

所述BERT模型是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers预训练神经网络语言模型；

所述步骤S1具体包括：

S1.1将评语句子X与其待评测的方面目标A组成一个如下形式的BERT句子对输入序列S：

其中，w_[cls]为BERT模型的分类符，w_[sep]为BERT模型的分隔符，为评语句子X在BERT中的词序列，为方面目标A在BERT中的词序列，n为句子对输入序列S中词的个数，d_w为BERT中词编码的维度；

S1.2将S送入BERT模型进行处理，得到方面级情感分析的预训练语义H：

H＝BERT(S)＝{h₁，h₂，h₃，...，h_n}∈R^n×d (2)

其中，{h₁，h₂，h₃，…，h_n}为S在BERT中的隐藏状态序列，BERT(·)表示一个BERT模型，d为BERT模型的隐藏状态的维度；

所述步骤S2具体包括：

S2.1将预训练语义H送入一个串行的多层逐点卷积层MPC(Multi-layer Point-wiseConvolutions)中，进行逐点语义细化，得到全局语义细化的初级语义H^g，计算过程如下：

其中，MPC中的卷积窗口大小为1，MPC中的卷积核数量设置为与BERT中隐藏状态的维数d相同，σ₁(·)表示整流线性单元(ReLU)激活函数，符号“*”表示卷积层中所有卷积核的卷积运算，与分别是第i个卷积层的权重矩阵与偏置向量，分别为第i个与第i-1个逐点卷积层的输出；当i等于1时：即MPC的初始输入是BERT输出的预训练语义H；当i等于m时，得到全局语义细化的初级语义H^g，即m是MPC中逐点卷积的层数，它是一个可学习的动态超参数，所述动态超参数是指对于不同的数据集可以取不同值的超参数；

S2.2将H^g和预训练语义H进行组合，得到组合全局细化语义计算过程如下：

设置一个组合选择的动态超参数choice，如果choice为连接运算connection_operation，则由公式(4)进行组合，如果choice为残差网络residual_network，则由公式(5)进行组合：

其中，Residual(·)表示一个残差网络，MHSA(·)表示一个多头自注意力(Multi-HeadSelf-Attention)，linear(·)表示一个将维度从n×2d变换为n×d的线性变换层(LinearTransform Layer)，公式(4)中的+表示逐点相加，公式(5)中的；表示连接运算；

S2.3将的平均池化向量与中分类符的隐藏状态相连接，通过一个门控机制组合成全局语义细化的输出向量Z^g，计算过程如下：

g＝σ₂(w^sq+b^s)∈R^2d (7)

Z^g＝g⊙q∈R^2d (8)

其中，表示对进行平均池化，σ₂(·)表示sigmoid激活函数,w^s∈R^2d×2d是门控机制的权重，b^s是门控机制的偏置，q是的平均池化向量与相连接后的组合向量，g是q的门控向量，⊙表示逐元素相乘；

所述步骤S3具体包括：

S3.1将预训练语义H分别送入三个窗口尺寸不相同且连续的并行卷积神经网络，进行多粒度局部语义细化，其中将三个并行卷积神经网络的卷积核的数目都设置为BERT隐藏状态维数d的三分之一，并且将三个并行卷积神经网络的窗口尺寸s₁、s₂、s₃都设置为动态超参数，则第i个并行卷积神经网络处理H后，得到一个如下所示的卷积输出语义：

其中，s_i为第i个并行卷积神经网络的窗口尺寸，C_k为第k个卷积核处理H后得到的卷积向量，并且C_k，以及C_k中的第j个元素c_j计算方法如下：

其中，为第i个并行卷积神经网络的卷积核的权重，为第i个并行卷积神经网络的第k个卷积核的偏置，表示卷积运算，表示从H的隐藏状态序列{h₁，h₂，…，h_n}∈R^n×d中的h_j开始，切分出一个子序列

S3.2三个并行卷积神经网络分别按照步骤S3.1中的公式(9)到公式(11)，对H进行处理，分别得到三个卷积神经网络的输出语义然后对分别进行最大化池化，并将它们的池化向量连接起来，得到多粒度局部语义细化的输出向量Z^l，计算过程如下：

其中，表示第i个Z^l，表示对进行最大化池化；

所述步骤S4具体包括：

S4.1将Z^g与Z^l组合起来，得到待评测的方面目标A的最终情感分类向量Z，计算过程如下：

Z＝[Z^g；Z^l]∈R^3d (14)

S4.2将Z送入一个全连接的分类层，对待评测的方面目标A进行情感预测，计算过程如下：

o＝W^oZ+b^o (15)

其中，是情感极性的表示矩阵，是一个偏置向量，d_k是情感极性类别的个数，Ω是情感极性类别的集合，y是一个被预测的情感极性，是表示所有情感极性置信分数的向量，P(y|Z)表示求待评测的方面目标A的分类向量Z在情感极性y上的预测概率，y′为Ω中任意一个情感极性，exp(·)表示以e为底的指数函数；

所述步骤S5中，对预训练神经网络语言模型BERT进行微调，使用如下的交叉熵损失函数计算损失误差：

其中，T是方面级情感分析数据集Ψ的训练集，|T|表示集合T的大小，y_i是T中第i个方面目标在评语中的情感极性标签，Z_i是T中第i个方面目标的最终情感分类向量；

微调目标是按公式(17)最小化T中所有方面目标的交叉熵损失误差；

所述步骤S6中，对方面目标采用如下公式进行情感极性分类：

其中，y^*为待评测的方面目标A最终评定的情感极性，表示返回使得P(y|Z)为最大值的情感极性，P(y|Z)使用公式(16)计算。

2.根据权利要求1所述的一种方面级情感分析的预训练语义组合细化方法，其特征在于：

对步骤S2.1所述的MPC中逐点卷积的层数的动态超参数m、步骤S2.2所述的组合选择的动态超参数choice，以及步骤S3.1所述的三个并行卷积神经网络的窗口尺寸的动态超参数s₁、s₂、s₃，采用联动测试的方式进行组合灵敏度分析，所述组合灵敏度分析是指将多个动态超参数进行组合，对数据集Ψ的性能进行测试，得出准确率-组合曲线，从中得到一组最佳的动态超参数组合，并将该最佳动态超参数组合设置为数据集Ψ的最终动态超参数，其中动态超参数m的取值范围为{2，3，4，5}，动态超参数choice的取值范围为{residual_network，connection_operation}，动态超参数s₁、s₂、s₃的取值范围为{[2,3,4]，[3,4,5]，[4,5,6]，[5,6,7]}；

所述最佳的动态超参组合是指使得数据集Ψ的性能达到最高值的动态超参组合。