[发明专利]待标注语料的分配方法、装置、可读存储介质及电子设备

摘要

本公开涉及一种待标注语料的分配方法、装置、可读存储介质及电子设备，所述方法包括：获取一初始待标注语料集合；输出一目标待标注语料，以对所述目标待标注语料进行语料标注；在对所述目标待标注语料完成语料标注后，从所述初始待标注语料集合中未进行语料标注的待标注语料中，确定与所述目标待标注语料相关性最小的待标注语料，并将该待标注语料确定为新的目标待标注语料；返回所述输出一目标待标注语料，以对目标待标注语料进行语料标注的步骤，直到满足预设的标注结束条件为止。因此，可以使得目标待标注语料分散地分布在语料空间中，降低人工标注的工作量，也可以提高基于该标注的语料进行训练的语料训练模型的精度，拓宽模型适用范围。 1

主权项

1.一种待标注语料的分配方法，其特征在于，所述方法包括：

获取一初始待标注语料集合；

输出一目标待标注语料，以对所述目标待标注语料进行语料标注，其中，所述目标待标注语料初始为所述初始待标注语料集合中的任一待标注语料；

在对所述目标待标注语料完成语料标注后，从所述初始待标注语料集合中未进行语料标注的待标注语料中，确定与所述目标待标注语料相关性最小的待标注语料，并将该待标注语料确定为新的目标待标注语料；

返回所述输出一目标待标注语料，以对所述目标待标注语料进行语料标注的步骤，直到满足预设的标注结束条件为止。

2.根据权利要求1所述的方法，其特征在于，所述从所述初始待标注语料集合中未进行语料标注的待标注语料中，确定与所述目标待标注语料相关性最小的待标注语料，包括：

获取所述目标待标注语料的分词集合；

针对所述初始待标注语料集合中未进行语料标注的每个待标注语料，通过以下公式计算该待标注语料与所述目标待标注语料的相关性：

其中，i_r表示所述初始待标注语料集合中第r个未进行语料标注的待标注语料与所述目标待标注语料的相关性；

TF_j表示所述分词集合中第j个分词在所述第r个未进行语料标注的待标注语料中的词频；

IDF_j表示所述分词集合中第j个分词在所述初始待标注语料集合中的逆向文件频率；

q表示所述分词集合中的分词总数。

3.根据权利要求2所述的方法，其特征在于，所述获取所述目标待标注语料的分词集合，包括：

对所述目标待标注语料的分词进行去重操作以及去停用词操作后，获得所述目标待标注语料的分词集合。

4.根据权利要求1‑3中任一项所述的方法，其特征在于，在所述获取初始待标注语料集合的步骤之前，所述方法还包括：

获取原始待标注语料库；

将所述原始待标注语料库中的各篇原始语料按照预设条件进行拆分，以获得各篇原始语料对应的拆分语料集合；

对全部所述拆分语料集合中的各个拆分语料进行降维处理，并计算所述各个拆分语料之间的距离；

基于所述距离，对所述各个拆分语料进行聚类，聚类后获得的各个集合分别作为各个所述初始待标注语料集合。

5.一种待标注语料的分配装置，其特征在于，所述装置包括：

第一获取模块，用于获取一初始待标注语料集合；

输出模块，用于输出一目标待标注语料，以对所述目标待标注语料进行语料标注，其中，所述目标待标注语料初始为所述初始待标注语料集合中的任一待标注语料；

确定模块，用于在对所述目标待标注语料完成语料标注后，从所述初始待标注语料集合中未进行语料标注的待标注语料中，确定与所述目标待标注语料相关性最小的待标注语料，并将该待标注语料确定为新的目标待标注语料，并触发所述输出模块输出一目标待标注语料，以对所述目标待标注语料进行语料标注，直到满足预设的标注结束条件为止。

6.根据权利要求5所述的装置，其特征在于，所述确定模块包括：

获取子模块，用于获取所述目标待标注语料的分词集合；

计算子模块，用于针对所述初始待标注语料集合中未进行语料标注的每个待标注语料，通过以下公式计算该待标注语料与所述目标待标注语料的相关性：

其中，i_r表示所述初始待标注语料集合中第r个未进行语料标注的待标注语料与所述目标待标注语料的相关性；

TF_j表示所述分词集合中第j个分词在所述第r个未进行语料标注的待标注语料中的词频；

IDF_j表示所述分词集合中第j个分词在所述初始待标注语料集合中的逆向文件频率；

q表示所述分词集合中的分词总数。

7.根据权利要求6所述的装置，其特征在于，所述获取子模块用于：

对所述目标待标注语料的分词进行去重操作以及去停用词操作后，获得所述目标待标注语料的分词集合。

8.根据权利要求5‑7中任一项所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于在第一获取模块获取初始待标注语料集合之前，获取原始待标注语料库；

拆分模块，用于将所述原始待标注语料库中的各篇原始语料按照预设条件进行拆分，以获得各篇原始语料对应的拆分语料集合；

计算模块，用于对全部所述拆分语料集合中的各个拆分语料进行降维处理，并计算所述各个拆分语料之间的距离；

聚类模块，用于基于所述距离，对所述各个拆分语料进行聚类，聚类后获得的各个集合分别作为各个所述初始待标注语料集合。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1‑4中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

权利要求9中所述的计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。