[发明专利]数据标注方法、装置和系统及存储介质

说明书

本发明实施例提供一种数据标注方法、装置和系统以及存储介质。数据标注方法包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收针对第二数目的未标注数据的预标注结果的反馈信息；以及基于反馈信息确定第二数目的未标注数据的最终标注结果。未标注数据先由数据标注系统进行预标注之后再交给用户进行检查，这样可以大大减小数据标注的人力成本。

技术领域

本发明涉及计算机技术领域，更具体地涉及一种数据标注方法、装置和系统以及存储介质。

背景技术

人工智能发展到今天，数据的作用被越来越凸显出来。训练好一个神经网络模型，通常需要上百万甚至上亿量级的数据。数据的标注周期和成本直接影响了一个人工智能公司的行业竞争力。

当前的数据标注平台存在以下不足：数据标注模式均为对数据进行人工逐一标注；其标注成本一般与数据集规模呈正比，在标注超大数据集时通常需要较大的人力投入和较长的标注周期。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种数据标注方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种数据标注方法。数据标注方法包括：从数据池的未标注数据集中选择第一数目的未标注数据；利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息，其中，预标注信息包括预标注结果；向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果，其中，第二数目的未标注数据为第一数目的未标注数据中的至少部分未标注数据；接收针对第二数目的未标注数据的预标注结果的反馈信息；以及基于反馈信息确定第二数目的未标注数据的最终标注结果。

示例性地，预标注信息还包括数据得分，在显示装置上，第二数目的未标注数据是按照第二数目的未标注数据的数据得分排列的，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：根据第二数目的未标注数据的数据得分对第二数目的未标注数据进行排序。

示例性地，预标注信息还包括数据得分，在向显示装置输出第二数目的未标注数据和第二数目的未标注数据的预标注结果之前，方法还包括：从第一数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为第二数目的未标注数据；或者从第一数目的未标注数据中选择数据得分最高的第二数目的未标注数据。

示例性地，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为高概率策略或边界策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据输入标注模型进行类别预测，标注模型的输出结果用于指示该未标注数据属于至少一个预定类别的概率；以及确定至少一个预定类别中概率最大的预定类别为该未标注数据的预标注结果。

示例性地，预标注信息还包括数据得分，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息还包括：在预定标注策略为高概率策略的情况下，对于第一数目的未标注数据中的每个未标注数据，确定该未标注数据属于至少一个预定类别的概率中的最大概率，并将最大概率作为该未标注数据的数据得分。

示例性地，利用标注模型对第一数目的未标注数据进行预标注，以获得第一数目的未标注数据的预标注信息包括：在预定标注策略为高相似策略的情况下，对于第一数目的未标注数据中的每个未标注数据，将该未标注数据输入标注模型，以提取该未标注数据的数据特征；根据该未标注数据的数据特征与已标注数据集中的至少一个已标注数据的数据特征，计算该未标注数据与至少一个已标注数据之间的相似度；确定与该未标注数据之间的相似度最大的已标注数据所属的类别为该未标注数据的预标注结果。