[发明专利]一种基于主动学习和深度学习相结合的命名实体模型和系统

摘要

命名实体识别是信息抽取中的一项基础任务，现阶段工业界主要采用性能卓越的有监督方法来抽取命名实体，但这类方法过分依赖于人工的标注语料，而获取大规模的标注语料是十分困难的。如何利用有效地利用丰富的未标注语料是目前亟待解决的问题。本发明提供了一种基于主动学习和深度学习相结合的命名实体模型及系统。本系统是让命名实体识别模型自动从未标注语料中，选取最有训练价值的代标注例句，提交人工进行标注后，再加入到训练集中，以提高模型的性能。该系统可以让标注人员极大限度地提高工作效率，有效地减少人力成本；本模型的构建使用卷积神经网络(CNN)作为编码器，以减少未登录词对任务的影响；使用长短期记忆网络(LSTM)/GRU作为解码器，以加速模型的训练速度。本发明采用人工与自动相结合的方式进行标注来扩展训练语料，在提高实体识别的精确率和召回率的同时，能够显著地降低人工标注的工作量。

主权项

1.一种基于主动学习和深度学习相结合的命名实体模型，其特征在于，该模型包括如下部分：1)字级编码部分，该部分由卷积神经网络构成，将字向量和字典特征向量拼合，通过卷积神经网络抽取例句中每个字的特征，经过卷积、池化，输出有关字的特征向量；2)词级编码部分，其是由卷积神经网络构成的特征抽取器，该部分提取例句中某个字及该字周围其他字的特征，输出有关词的特征向量；3)标签解码部分，所述标签解码部分将所述词级编码部分输出的有关词的特征向量输入长短期记忆网络，经过计算得到某字相应标签序列的概率分布，然后利用softmax作为损失函数，训练命名实体识别模型。