[发明专利]人工智能数据标注任务分配方法以及装置

说明书

本申请公开了一种人工智能数据标注任务分配方法以及装置，涉及人工智能的数据标注领域。方法包括：以人工标注员的个性化信息作为标注终端的特征向量，人工标注员的数量为N；获取待标注数据，待标注数据包括试标数据和量产数据；将试标数据等分为N个试标子数据，向每一个标注终端发送一个试标子数据；在试标子数据经过标注终端标注并返回结果的情况下，经过统计分析模块输出得到待标注数据的特征向量；将量产数据拆分为M个量产子数据；建立带权二分图；计算量产子数据端点‑标注终端端点形成的边的权值，通过KM算法计算出带权二分图的最佳匹配结果，或者，进行聚类处理计算出带权二分图的最佳匹配结果；将量产数据分配给最佳匹配标注终端。

技术领域

本申请涉及人工智能的数据标注领域，具体涉及一种人工智能数据标注任务分配方法以及装置。

背景技术

在大数据时代，数据从业者需要对大量的各种类型的数据进行标注，标注内容的类型也因业务需要和算法特性而迥异。例如，数据从业者可能需要对一批会议中录制的音频进行标注，如果这批数据用于语音识别算法的训练，那么就需要转写音频中话语的起止时间点和内容；而如果这批数据用于声纹识别的训练，那么就需要标注音频中每个说话人声音的起止时间点和说话人身份信息。标注工作通常需要人工标注者的介入，而人工标注者的能力、体力、技能、准确率又千差万别。同一个人执行不同类型的标注任务时，其表现出来的劳动生产能力，即合格地完成标注任务的能力，可能相差甚远；而同一个标注任务，不同的人在执行时表现出来的劳动生产能力也参差不齐。对于数据从业者来说，如何将整体的标注效率最大化，让最合适的人执行他最容易成功的任务，从而尽可能地以最低的成本获得质量最好的标注数据，是其最关心的问题。

发明人发现现有技术当前至少存在以下问题：难以找到最优的全局任务-标注员匹配模式；对于一个标注任务，通常难以识别最优的标注者。

发明内容

本申请实施例的目的是提供一种人工智能数据标注任务分配方法和装置，能够解决难以找到最优的全局任务-标注员匹配模式。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种人工智能数据标注任务分配方法，应用于人工智能数据标注任务分配系统，其特征在于，所述方法包括：

将每一位可调用的人工标注员标记为一个标注终端，并以所述人工标注员的个性化信息作为所述标注终端的特征向量，其中，所述标注终端的数量为N；

获取待标注数据，其中，所述待标注数据包括试标数据和量产数据；

将所述试标数据等分为N个试标子数据，向每一个所述标注终端发送一个所述试标子数据；

在所述试标子数据经过所述标注终端标注并返回结果的情况下，以返回的标注数据的质量以及所述标注终端的特征向量作为输入，经过统计分析模块输出得到所述待标注数据的特征向量；

将所述量产数据拆分为M个量产子数据，其中，M远大于N；

建立带权二分图，将M个量产子数据、N个所述标注终端分别作为所述带权二分图的端点集合；

计算量产子数据端点-标注终端端点形成的边的权值，通过KM算法计算出所述带权二分图的最佳匹配结果，或者，进行聚类处理计算出所述带权二分图的最佳匹配结果；

将所述量产数据分配给最佳匹配标注终端。

进一步地，所述试标数据的大小占所述待标注数据的大小的1%。

进一步地，所述将所述量产数据分配给最佳匹配标注终端，具体包括：

将第一部分量产子数据分配给当前的最佳匹配标注终端；

在所述量产子数据经过所述标注终端标注并返回结果的情况下，重新计算所述标注数据的特征向量以及所述带权二分图的最佳匹配结果；