[发明专利]一种基于对抗训练的命名实体识别方法

说明书

本发明公开了一种基于对抗训练的命名实体识别方法，分别通过RoBERTa模型训练和Bi‑LSTM的训练获得司法领域文字之间关联性特征；然后将两种关联性特征拼接在一起，利用条件随机场模型对训练样本进行预测获得预测的结果；本发明能够引入不同维度的外部词向量与字向量与不同维度的司法领域文本字词混合向量相结合，并且针对司法领域文本中混合词向量进行对抗扰动，增加模型识别的准确率。

技术领域

本发明属于命名实体识别的技术领域，具体涉及一种基于对抗训练的命名实体识别方法。

背景技术

命名实体识别在各个领域已经有了广泛的应用，各领域也针对命名实体识别进行了不同程度的优化，在传统的命名实体识别中需要耗费大量的人员针对特定的领域进行特征提取,并利用概率图模型进行命名实体识别，随着近几年深度学习的兴起，各领域已经利用深度学习的方法对命名实体识别进行了大量的探索，目前在金融，医疗，法律领域已经有大量的探索与实践，减少了大量的人工成本，并提高了准确率，如何利用这些信息尤为关键，在利用命名实体识别技术，对某些特定领域中具有特定意义的实体，比如在司法文本中(嫌疑人，被告，原告等)，通过这些实体的识别可以为之后信息提取、问答系统、句法分析、知识推理，构建知识图谱等重要任务打下来重要的基础。

目前，命名实体识别在司法领域中的主要方法分为三大类：

第一类基于概率图模型，该方法主要使用条件随机场(CRF)模型，是给定一组输入序列条件下另一组输出序列的条件概率分布模型，通过输入带标签特定领域数据，人工提取出相应的特征与设定相应的规则，从而对未标注的文本进行识别。

第二类基于深度学习的方法，该方法主要使用双向长短时记忆网络(Bi-LSTM)模型，利用词向量嵌入信息，通过输入带标签特定领域数据到Bi-LSTM中从而大大的减少了人工的工作，并且可以得到更高的准确率。

第三类基于深度学习与传统的方法相结合，该方法利用词向量训练方法(Word2Vec)或者(GloVe)技术给定特定领域文本，特定领域词表，在特定领域文本中我们通过文本来构建语言模型，通过P(w₁,w₂,…w_n)＝P(w₁)P(w₂|w₁)P(w_n|w₁,…,w_n-1)，把联合概率转化为条件概连乘，并利用马尔科夫假设大大减少了参数，而在词表中的每一个词都对应着一个连续的特征向量，往一个概率模型中，输入一段词向量，输出文本的联合概率，从而去学习词向量权重，构建一个简单的神经网络f(w_t-n+1…,w_t)f(w_t-n+1…,w_t)来拟合条件概率P(w_t|w₁,…,w_t-1)，模型中输入词向量到线性的嵌入层(Embedding)层，利用可训练的参数矩阵C通过设置不同的滑动窗口贯穿整个特定领域文本，来获取到特定领域文本的词向量，从而得到相应的词向量(word vector)，这里有两种方法分别为跳字模型(Skip-gram)或连续词袋子模型(CBOW)两个模型去进行训练，当得到相应的词向量后，通过输入Bi-LSTM层，在Bi-LSTM层中词向量的输入经过每一个时间点的隐藏状态，这样可以得到上下文的表示，最后的特征通过CRF层利用周围的信息从而有效的得到相应的标签，模型如图1。

现有的特定领域的命名实体模型利用Bi-LSTM跟CRF模型相结合的方式，但模型提取特征的能力不够强大，而Bi-LSTM中的建模只是简单的从左到右，或者从右到左进行建模，并把隐状态拼接在一起，但是这样做的缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息。并且，在特定领域中文本的数量与个数有限，没有大量的数据进行模型性能的提升。