[发明专利]基于半监督小样本扩展的命名实体识别方法及系统

权利要求书

1.一种基于半监督小样本扩展的命名实体识别方法，其特征在于，包括如下步骤：

S1、获取训练样本集；

S2、根据所述训练样本集的选取类型及方法设计命名实体标签；

S3、根据所述命名实体标签对所述训练样本集进行序列标注，得到标注文本；

S4、根据所述标注文本进行模型训练，构建命名实体识别模型；

S5、采集未标注数据集，应用所述命名实体识别模型对所述未标注数据集进行标签预测，得到标签预测文本；

S6、对所述标签预测文本进行采样，得到采样文本，将所述采样文本回填至所述训练样本集进行再次训练；

S7、判断各所述命名实体标签所包含的样本数据是否趋于平衡，若各所述命名实体标签所包含的样本数据趋于平衡，则结束，若各所述命名实体标签所包含的样本数据存在差距，则返回所述步骤S4。

2.如权利要求1所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、接收到对所述命名实体识别模型进行训练的请求时，获取所述命名实体识别模型所要识别的目标文本所在的指定领域；

S12、根据所述指定领域，利用开源网络爬虫从网络上抓取命名实体数据集；

S13、对所述命名实体数据集进行数据清洗，获得所述训练样本集。

3.如权利要求1所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述步骤S4具体包括以下步骤：

S41、采用BIO标注规范将所述标注文本转化为标准BIO标注格式，获得BIO格式文本；

S42、在Embedding层采用Word2Vec将所述BIO格式文本的每个字符向量化；

S43、应用双向LSTM捕获所述BIO格式文本的上下文表示向量，并采用注意力机制根据所述上下文表示向量获取所述BIO格式文本的文本特征向量；

S44、通过CRF输出层，获得最佳序列标注。

4.如权利要求3所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述步骤S44具体包括以下步骤：

S441、根据所述文本特征向量计算所述标注文本评分；

S442、应用softmax映射，根据所述评分获得预测概率；

S443、采用负的所述预测概率的对数计算损失函数；

S444、应用所述损失函数度量所述标注文本的标注序列，获得所述最佳序列标注。

5.如权利要求1所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述步骤S6具体包括以下步骤：

S61、设置置信度，将低于所述置信度的所述标签预测文本进行过滤；

S62、对过滤后的包含小样本标签的所述标签预测文本进行采样，得到采样文本。

6.如权利要求1所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述步骤S3中设置标注对齐，将所述命名实体标签进一步划分其类别，并提供示例文本，指导标注人员进行标注。

7.如权利要求2所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，所述数据清洗包括无关文本过滤、表情转换与过滤、乱码处理、文本格式处理、时间标准化。

8.如权利要求3所述的基于半监督小样本扩展的命名实体识别方法，其特征在于,在所述步骤S44中添加Dropout层防止模型训练过程中出现过拟合现象。

9.如权利要求3所述的基于半监督小样本扩展的命名实体识别方法，其特征在于,所述Word2vec在采用jieba工具进行分词后，使用gensim工具包进行训练。

10.一种基于半监督小样本扩展的命名实体识别系统，运行如权利要求1至9中任一项所述的基于半监督小样本扩展的命名实体识别方法，其特征在于，

所述基于半监督小样本扩展的命名实体识别系统包括：

样本获取模块，获取训练样本集；

标签设计模块，根据所述训练样本集的选取类型及方法设计命名实体标签；

文本标注模块，根据所述命名实体标签对所述训练样本集进行标注，得到标注文本；

模型构建模块，根据所述标注文本进行模型训练，构建命名实体识别模型；

标签预测模块，采集未标注数据集，应用所述命名实体识别模型对所述未标注数据集进行标签预测，得到标签预测文本；

文本填充模块，对所述标签预测文本进行采样，得到采样文本，将所述采样文本回填至所述训练样本集进行再次训练；

数据判断模块，判断各所述命名实体标签所包含的样本数据是否趋于平衡，若各所述命名实体标签所包含的样本数据趋于平衡，则结束，若各所述命名实体标签所包含的样本数据存在差距，则返回所述步骤S4。