[发明专利]一种标注数据自动质检方法

说明书

本发明公开了一种标注数据自动质检方法，包括：S1，获取待标注数据，并将所述待标注数据分为n个批次，每个批次包含m条数据；S2，从每个批次的数据中抽取预设数量的数据进行标注，作为已标注的初始标准数据集；S3，将所述初始标准数据集加入到每个批次的数据中，并对混有所述初始标准数据集的每个批次的数据进行标注；S4，通过对步骤S3中已标注的数据进行检测，并由后台自动计算所述初始标准数据集的准确率；S5，判断所述准确率是否达到预设标准值，若是，则通过自动质检；否则，执行步骤S2进行重新标注。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种标注数据自动质检方法。

背景技术

对于AI行业，数据标注需求量越来越大，传统方法是由人工抽查做质量检查，通过人工质检后查看合格率，通常每返回一批数据就抽查一次，耗时耗力。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种标注数据自动质检方法，从而只需抽样标注一批标准数据即可用于检测每一批的标注质量，省事省力。

为实现上述目的，本发明提供一种标注数据自动质检方法，所述方法包括：

S1，获取待标注数据，并将所述待标注数据分为n个批次，每个批次包含m条数据；

S2，从每个批次的数据中抽取预设数量的数据进行标注，作为已标注的初始标准数据集；

S3，将所述初始标准数据集加入到每个批次的数据中，并对混有所述初始标准数据集的每个批次的数据进行标注；

S4，通过对步骤S3中已标注的数据进行检测，并由后台自动计算所述初始标准数据集的准确率；

S5，判断所述准确率是否达到预设标准值，若是，则通过自动质检；否则，执行步骤S2进行重新标注。

优选的，在步骤S4中，计算所述初始标准数据集的准确率为通过抽取步骤S3已标注的数据中的所述初始标准数据集，并作为第一标注阈值，将所述第一标注阈值与步骤S2中的所述初始标准数据集进行比对分析，得到准确率。

优选的，在步骤S2中，所述抽取根据关键信息分层进行抽样，所述标注通过人工完成。

优选的，在步骤S2中，所述预设数量定义为m1，满足m1＝10％*m。

优选的，在步骤S3之前还包括对所述初始标准数据集进行加噪音以及关键信息的错别字替换。

优选的，在步骤S3中还包括对所述初始标准数据集中所标注的问题打标签，所述所标注的问题包括常见问题、疑难问题以及错误率低的问题。

有益效果：

1.只需抽样标注一批标准数据集即可用于检测每一批的标注质量，省事省力。

2.对标注标准数据集进行更新维护，保证质检结果的质量。

附图说明

图1为本发明一实施例提供的一种标注数据自动质检方法的流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合实施例详细阐述本发明的内容。

参照图1所示，为本发明一实施例提供的一种标注数据自动质检方法的流程图。所述方法包括：

S1，获取待标注数据，并将所述待标注数据分为n个批次，每个批次包含m条数据；