[发明专利]一种用于评估人工标注数据质量的方法及系统

说明书

本发明公开了一种用于评估人工标注数据质量的方法及系统，包括根据每个分类的维度，从数据库中读取已标注数据，并根据标注策略对已标注数据进行数据预处理；对进行过数据预处理后的已标注数据，进行低质量标签的贡献度评估、标签丰富度评估、标签准确率评估和高频标签的多样性和贡献度评估；并根据各个评估结果，计算每个标注人员的标注评分。优点是：提供了一种以极低成本监督数据标注质量的技术方案，从标注标签的多样性、总标签数目、高频标签的贡献度、低质量标签的贡献度、标签丰富度以及标注准确度等方面对标注人员标注结果进行评估并排序，避免了以往设置多次品检或安排专职人员对已标注数据进行审核对人力成本和时间成本的消耗。

技术领域

本发明涉及人工标注数据质量评估领域，尤其涉及一种用于评估人工标注数据质量的方法及系统。

背景技术

目前业界为保证人工标注数据的质量，主要的方案是设置多次品检，安排专职人员对已标注数据进行审核；但是对数据标注结果的审核工作，极大的提高了人力成本和时间成本。

发明内容

本发明的目的在于提供一种用于评估人工标注数据质量的方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种用于评估人工标注数据质量的方法，包括以下步骤，

S1、根据每个分类的维度，从数据库中读取已标注数据，并根据标注策略对已标注数据进行数据预处理；

S2、对进行过数据预处理后的已标注数据，进行低质量标签的贡献度评估；

S3、对进行过数据预处理后的已标注数据，进行标签丰富度评估；

S4、对进行过数据预处理后的已标注数据，进行标签准确率评估；

S5、对进行过数据预处理后的已标注数据，进行高频标签的多样性和贡献度评估；

S6、根据步骤S2、S3、S4和S5的评估结果，计算每个标注人员的标注评分。

2、根据权利要求1所述的用于评估人工标注数据质量的方法，其特征在于：步骤S1包括如下内容，

S101、如果已标注数据按照专辑标注，则根据专辑名对已标注数据进行去重处理；

S102、若维度中标签为多选，则将该维度中的标签分割成l ist形式。

优选的，步骤S2包括如下内容，

S201、选择标签类型完备、且带有低质量标签的维度作为已标注数据的低质量评估数据源；

S202、对于多选的维度，若标注人员在选择低质量标签的同时亦选择了其他标签，则此条已标注数据不计入低质量标注的数目；

S203、根据标注策略，选择合适的标签作为低质量标签；

S204、分别计算标注人员对S201中所指定的各个维度低质量标签的贡献度，并将各个维度的计算所得结果相加；其中各个维度的计算公式为，标注人员对维度的低质量标签贡献度＝标注人员在该维度所标注低质量标签的数据/该标注人员在当前维度所标注标签的总数。

优选的，步骤S3包括如下内容，

S301、选择“多选”+“必选”维度作为多选标签丰富度评估数据源；

S302、计算S301中所选维度的多选标签丰富度，计算公式为，多选标签丰富度＝标注人员多选维度的标签总量/该标注人员的总标注条数；

S303、选择“非必选”且“非多选”的维度作为非必选标签丰富度评估数据源；