[发明专利]融入领域术语词典的司法舆情敏感信息识别方法

权利要求书

1.融入领域术语词典的司法舆情敏感信息识别方法，其特征在于：所述方法包括：

构建融入领域术语词典的司法敏感信息识别模型来进行敏感信息识别；融入领域术语词典的司法敏感信息识别模型包括编码层、领域术语词典融入层、局部特征提取层和分类层；

通过编码层将舆情文本和领域术语词典进行编码和特征关注；

通过领域术语词典融入层将领域术语词典与舆情文本计算相似度并融入文本表征中；

通过局部特征提取层在领域术语词典融入层的基础上提取重要特征提取；

通过分类层将提取的重要特征进行类别概率的预测；

其中，领域术语词典与舆情文本计算相似度包括：

将领域术语词典的表征K^h与舆情文本表征A^h计算相似矩阵，然后，将相似矩阵S_ik进行归一化后与词汇嵌入矩阵进行相乘后得到具有权重信息的相关矩阵进而得到最终的相似矩阵。

2.根据权利要求1所述的融入领域术语词典的司法舆情敏感信息识别方法，其特征在于：构建融入领域术语词典的司法敏感信息识别模型之前进行司法舆情数据爬取并根据司法舆情敏感信息分类进行数据预处理，具体步骤如下：

Step1.1、爬取舆情文本并经过人工筛选和标注后构成共若干条舆情文本；

Step1.2、构建领域术语词典，其中包括司法领域词汇和敏感词汇，司法领域词汇由裁判文书网和中国法院网构建，其中敏感词汇有两部分构成：(1)、根据司法舆情数据特点手动构建，(2)、筛选公开的中文敏感词汇，词汇由字、词及短语组成；

Step1.3、利用搜狗新闻数据集、司法舆情敏感信息数据集、领域术语词典以及word2vec算法预训练司法敏感的词向量作为司法敏感信息识别模型的司法敏感先验知识。

3.根据权利要求1所述的融入领域术语词典的司法舆情敏感信息识别方法，其特征在于：所述构建融入领域术语词典的司法敏感信息识别模型的具体步骤如下：

Step2.1、输入是舆情文本和领域术语词典的经过词嵌入的矩阵，分别为和

Step2.2、由于此前向量表征未考虑上下文语义特征,将舆情文本向量表征输入一个能理解上下文的编码机制；采用双向长短期记忆神经网络Bi-LSTM作为理解上下文信息的嵌入机制，模拟单词之间的特征交互，并将两个方向的输出进行简单拼接,得到双向长短期记忆神经网络Bi-LSTM的输出H，其中每列向量表示舆情描述上下文的表征；

其中，Bi-LSTM表示经过双向循环神经网络，D_H和W_H分别是舆情文本和领域术语词典领过编码后的向量表征；

Step2.3、这里利用多头注意力机制对上下文表征H进行权重的计算：

multiHead(Q,K,V)＝concat(head₁,…,head_h)W^O

where head_i＝att(QW_i^Q,KW_i^k,VW_i^V) (4)

其中，softmax为归一化操作，connect表示拼接操作，其中

Step2.4、为防止丢失原文本语义，对于输出的结果进行残差连接：

A^h＝residualConnect(D_M^d,D_H) (5)

K^h＝residualConnect(W_M^d,W_{_}H) (6)

其中，residualConnect表示残差连接，D_M^d，W_M^d分别表示舆情文本和领域词典经过多头注意力机制的输出结果；

Step2.5、将领域术语词典的表征K^h与舆情文本表征A^h计算相似矩阵：

其中，S_ik表示术语词典表征K^h中的第i个领域词与文本特征A^h的第k个隐向量之间的相似性,表示对应词典第i个领域词表征向量，表示A^h的第k列向量，sim表示计算与之间相似度的可训练函数，计算过程如下所示：

其中是待训练的权重向量，表示元素依次相乘，(；)表示向量在行上进行拼接，k与K^h的列向量对应,a与A^h的列向量对应；

Step2.6、将S_ik进行归一化后与词汇嵌入矩阵进行相乘后得到具有权重信息的相关矩阵最终相似矩阵与原文本进行拼接，得到融入词典信息的文本表征

其中softmax是归一化函数，[；]为拼接操作；

Step2.7、将已经融入词典信息的文本表征进行卷积操作，将舆情内容信息与词典信息进行特征的提取工作，然后进行最大池化操作max-pooling，过程如下所示：

其中k表示CNN网络的输出通道；

Step2.8、将进行多头注意力操作，获取到具有权重信息的特征矩阵；

Step2.9、在分类层中为得到文本分类概率分布，将在局部特征提取层中得到的O^k，利用归一化softmax后将其映射到分类空间如下所示：

P(D)＝softmax(O^k) (13)。