[发明专利]一种命名实体识别数据标注质量评估与控制方法及系统

说明书

本发明涉及一种命名实体识别数据标注质量评估与控制方法及系统，其中的方法包括：将数据划分为N份子训练集；分别使用N份所述子训练集训练出N个第一命名实体识别模型；使用N个所述第一命名实体识别模型对给定标注语料进行预测，得到N个结果；对于N个所述结果中的每个实体预测结果进行投票；根据投票结果与标注者的标注结果判定错误类型，并进行疑似错误提示。本发明能够对标注者标注过程中的实时标注结果进行智能分析，引导标注者进行可靠的标注，尽量减少标注者前后标注规则不统一和漏标等问题，增加标注过程的可控性，标注过程中控制标注者标注质量，即时的错误反馈，减少标注者时间上的浪费。

技术领域

本发明涉及命名实体识别(NER)技术领域，具体涉及一种命名实体识别数据标注质量评估与控制方法及系统。

背景技术

近些年，随着基本自然语言处理技术和知识图谱技术的不断发展和应用，对于文本标注的需求量也大幅增加。对于诸多有监督任务来说，高质量的数据是模型取得良好性能的基础。

众所周知，数据标注需要耗费大量的人力与财力，且不同标注者在统一的标注规则下的标注结果不尽相同。糟糕的数据质量不仅给业务方造成了时间和金钱上的损失，还会对模型性能带来负面影响。对于数据标注这种劳动密集型工作，目前工业届普遍使用“标注平台+模型预标注+人工标注”的基于众包的解决方案来尽可能提高标注效率，使用统一的质量评估指标对标注数据进行质量评估。

使用一般标注解决方案生成的人工标注数据存在大量错误，这种错误无疑将影响模型效果。

发明内容

针对上述技术问题，本发明提供一种命名实体识别数据标注质量评估与控制方法及系统。

本发明解决上述技术问题的技术方案如下：

根据本发明实施例的第一方面，提供一种命名实体识别数据标注质量评估与控制方法，包括：

将数据划分为N份子训练集；

分别使用N份所述子训练集训练出N个第一命名实体识别模型；

使用N个所述第一命名实体识别模型对给定标注语料进行预测，得到N个结果；

对于N个所述结果中的每个实体预测结果进行投票；

根据投票结果与标注者的标注结果判定错误类型，并进行疑似错误提示。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述将数据划分为N份子训练集，具体包括：

通过N折交叉的方式得到N份子训练集。

进一步，所述根据投票结果与标注者的标注结果判定错误类型，具体包括：

如果标注者的标注结果为空，模型投票结果非空，则判定错误类型为疑似漏标；和/或

如果标注者标注位置信息与投票位置信息完全吻合，但是标签不完全吻合，则判定错误类型为疑似类别错误；和/或

若非上述两种疑似错误，且标注者标注结果与模型投票结果存在差异，则判定错误类型为疑似其他错误。

进一步，还包括：

当所有标注人员完成标注之后，先对整个语料标注结果进行整体上的投票，将整个语料的第一次投票结果作为准答案；

对所述整个语料取N折训练出N个第二命名实体识别模型；

使用N个所述第二命名实体识别模型对所述整个语料进行预测，投票得出参考答案；

通过比对所述准答案与所述参考答案，生成包含错误来源的数据质量指标。