[发明专利]一种基于半训练和句子选择的远程监督命名实体识别方法

权利要求书

1.一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，该方法包括以下步骤：

S1、人工标注少量纯文本构成人工标注数据集，利用人工标注数据集中的实体字段构建一个词典；

S2、利用词典和字符串匹配技术在纯文本中进行标注，生成远程监督数据集；

S3、通过半训练策略，利用人工标注数据集训练双向循环神经网络和条件随机场混合模型，直至双向循环神经网络和条件随机场混合模型在人工标注数据集上的平衡F分数达到预设半训练区间；

S4、采用前馈神经网络FNN作为强化学习的策略网络，在远程监督数据集中进行句子选择，将选择出的句子作为数据集；

S5、利用双向循环神经网络和条件随机场混合模型的输出计算每一个句子的软概率，基于软概率选择出数据集中置信度大于置信度阈值的句子，将选择出的句子与人工标注数据集进行合并，作为新的训练集；

S6、利用新的训练集对双向循环神经网络和条件随机场混合模型进行训练，同时对策略网络进行更新，具体步骤如下：

S61、策略网络的奖励值表示为：

其中是从新的训练集中取出的一个批次的句子集合，是双向循环神经网络和条件随机场混合模型根据第个句子的向量表示，将第个句子打标成的概率；

S62、对策略网络进行参数更新，更新方式表示为：

其中为学习率，是策略网络的参数；是策略网络对第个句子生成的动作；是第个句子的状态；

S7、将训练好的双向循环神经网络和条件随机场混合模型作为命名实体识别模型，对未标注的纯文本数据中的字块token进行标签预测。

2.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S1具体包括：

S11、以序列标注的形式对少量纯文本进行标注，生成人工标注数据集；

S12、提取人工标注数据集中的所有实体字段，进行去重处理；

S13、将所有非重复的实体字段存入词典中。

3.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S2具体包括：

S21、基于词典，利用字符串匹配技术对纯文本中的相应字段进行匹配；

S22、将匹配上的实体字段以序列标注的形式进行标注，生成远程监督数据集。

4.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S2中，所述字符串匹配技术采用双向最大匹配算法、正向最大匹配算法或反向最大匹配算法。

5.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S3具体包括：

S31、利用人工标注数据集从初始状态开始训练双向循环神经网络和条件随机场混合模型，直至双向循环神经网络和条件随机场混合模型在人工标注数据集上的平衡F分数达到预设半训练区间时停止训练；

S32、将半训练过的双向循环神经网络和条件随机场混合模型作为初始模型来为强化学习的策略网络提供奖励值和环境状态。

6.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S3中，所述预设半训练区间为0.85~0.95。

7.根据权利要求1所述的一种基于半训练和句子选择的远程监督命名实体识别方法，其特征在于，所述的步骤S4具体包括：

S41、采用前馈神经网络FNN作为强化学习的策略网络，策略网络为远程监督数据集中每个句子生成一个动作；

S42、对于第个句子，策略网络表示为：

其中是sigmoid函数，是策略网络的参数；是策略网络对第个句子生成的动作；是第个句子的状态；是参数为的策略网络对于状态为的句子做出动作的概率；

S43、将选择出的句子作为数据集。