[发明专利]一种LIWC词表扩展方法

权利要求书

1.一种LIWC词表扩展方法，其特征在于，包括：

S1，根据目标单词的义元和所述目标单词的第i-1层标签，应用注意力机制构建所述目标单词的第i层上下文表示；

S2，将所述第i-1层标签、第i层上下文表示与循环神经网络的第i-1层隐状态输入所述循环神经网络，获取第i层隐状态；

S3，应用所述第i层隐状态获取所述目标单词的第i层标签；

S4，重复所述步骤S1至S3，逐层获取所述目标单词的各层标签；其中，m≥i≥1，i为整数，m为所述目标单词所包含的总层数；

所述步骤S2进一步包括：

将所述第i-1层标签y_i-1、第i层上下文表示c_i与循环神经网络的第i-1层隐状态s_i-1输入所述循环神经网络，根据如下公式获取第i层隐状态s_i：

o_i＝σ(W_o·[σ_i-1,y_i-1,c_i]+b_o)

z_i＝σ(W_z·[s_i-1,y_i-1,c_i]+b_z)

f_i＝σ(W_f·[s_i-1,y_i-1,c_i]+b_f)

其中，σ()为sigmoid函数，*为向量间按位相乘操作，W_o、W_z、W_f、b_o、b_z和b_f为权重参数；o_i、z_i和f_i分别为第i层输出门、更新门和遗忘门；

所述步骤S3进一步包括：

根据下式应用所述第i层隐状态s_i获取第i层候选标签的概率分布：

p(y_i|(y₁,y₂…y_i-1),c_i,s_i)＝softmax(M(o_i*tanh(s_i))+d)

根据所述第i层候选标签的概率分布从第i层的候选标签集合中提取第i层标签；

其中，p(y_i|(y₁,y₂…y_i-1),c_i,s_i)为第i层标签的概率分布，d为偏置向量，M为全局的标签表示矩阵，o_i为所述循环神经网络的第i层输出门。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

S11，应用word2vec将目标单词的若干个义元转换为若干个义元向量；

S12，根据所述若干个义元向量和第i-1层标签，应用注意力机制构建所述目标单词的第i层上下文表示。

3.根据权利要求2所述的方法，其特征在于，所述步骤S12中，所述第i层上下文表示c_i为：

其中，h_j是所述若干个义元中第j个义元的义元向量，α_ij定义为：

其中，k为所述目标单词的义元总数，e_ij定义为：

e_ij＝v^Ttanh(W₁y_i-1+W₂h_j)

其中，v、W₁和W₂为权重矩阵，y_i-1为所述第i-1层标签。