[发明专利]一种使用重叠拆分规则的文本序列标注算法

权利要求书

1.一种使用重叠拆分规则的文本序列标注算法，其特征在于：采用拆分方法具体为：

（1）训练完成一个基于深度学习的序列标注任务模型后，在预测阶段，对于待预测文本长度超过模型最大序列长度时，将超长文本拆分为若干不大于最大序列长度的子序列，各个子序列之间设置重叠区域；

（2）获得的若干子序列可以通过并行的方式使用模型做预测，将得到的序列结果按照一套通用的经验规则做拼接合并，即得到最终的超长文本的序列标注结果；

所述算法适用于针对分词、词性标注、命名实体识别三种任务；

步骤（1）的重叠区域中，存在当一个实体或词汇包含另一个实体或词汇的关系，且都有实体或词汇取到截断边界时，则直接合并，取较长的实体或词汇；

步骤（1）的重叠区域预测结果中，仅有一个句子的重叠部分有实体或词汇取到截断边界时，则去掉该实体或词汇，然后进行合并；

步骤（1）的重叠区域预测结果中，当针对命名实体识别任务时，若一边有实体标签、而另一边为空标签时，以有实体的一侧为准进行合并；

步骤（1）的重叠区域预测结果中，当实体或词汇结构没有包含关系，只有部分重叠时，取并集。

2.根据权利要求1所述的一种使用重叠拆分规则的文本序列标注算法，其特征在于：所述空标签为O标签。

3.根据权利要求1所述的一种使用重叠拆分规则的文本序列标注算法，其特征在于：当实体或词汇类型不一致时，取相对靠后的部分的标签类别。