[发明专利]一种命名实体识别数据标注质量评估与控制方法及系统

权利要求书

1.一种命名实体识别数据标注质量评估与控制方法，其特征在于，包括：

将数据划分为N份子训练集；

分别使用N份所述子训练集训练出N个第一命名实体识别模型；

使用N个所述第一命名实体识别模型对给定标注语料进行预测，得到N个结果；

对于N个所述结果中的每个实体预测结果进行投票；

根据投票结果与标注者的标注结果判定错误类型，并进行疑似错误提示。

2.根据权利要求1所述的方法，其特征在于，所述将数据划分为N份子训练集，具体包括：

通过N折交叉的方式得到N份子训练集。

3.根据权利要求1所述的方法，其特征在于，所述根据投票结果与标注者的标注结果判定错误类型，具体包括：

如果标注者的标注结果为空，模型投票结果非空，则判定错误类型为疑似漏标；和/或

如果标注者标注位置信息与投票位置信息完全吻合，但是标签不完全吻合，则判定错误类型为疑似类别错误；和/或

若非上述两种疑似错误，且标注者标注结果与模型投票结果存在差异，则判定错误类型为疑似其他错误。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

当所有标注人员完成标注之后，先对整个语料标注结果进行整体上的投票，将整个语料的第一次投票结果作为准答案；

对所述整个语料取N折训练出N个第二命名实体识别模型；

使用N个所述第二命名实体识别模型对所述整个语料进行预测，投票得出参考答案；

通过比对所述准答案与所述参考答案，生成包含错误来源的数据质量指标。

5.一种命名实体识别数据标注质量评估与控制系统，其特征在于，包括：

划分模块，用于将数据划分为N份子训练集；

第一训练模块，用于分别使用N份所述子训练集训练出N个第一命名实体识别模型；

第一预测及投票模块，用于使用N个所述第一命名实体识别模型对给定标注语料进行预测，得到N个结果，并对于N个所述结果中的每个实体预测结果进行投票；

错误提示模块，用于根据投票结果与标注者的标注结果判定错误类型，并进行疑似错误提示。

6.根据权利要求5所述的系统，其特征在于，所述划分模块，具体用于通过N折交叉的方式得到N份子训练集。

7.根据权利要求1所述的方法，其特征在于，所述错误提示模块，具体包括：

第一判定单元，用于如果标注者的标注结果为空，模型投票结果非空，则判定错误类型为疑似漏标；

第二判定单元，用于如果标注者标注位置信息与投票位置信息完全吻合，但是标签不完全吻合，则判定错误类型为疑似类别错误；

第三判定单元，用于若非上述两种疑似错误，且标注者标注结果与模型投票结果存在差异，则判定错误类型为疑似其他错误。

8.根据权利要求5至7任一项所述的系统，其特征在于，还包括：

投票模块，用于当所有标注人员完成标注之后，先对整个语料标注结果进行整体上的投票，将整个语料的第一次投票结果作为准答案；

第二训练模块，用于对所述整个语料取N折训练出N个第二命名实体识别模型；

第二预测及投票模块，用于使用N个所述第二命名实体识别模型对所述整个语料进行预测，投票得出参考答案；

比对模块，用于通过比对所述准答案与所述参考答案，生成包含错误来源的数据质量指标。

9.一种终端设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至4中任一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至4中任一项所述的方法。