[发明专利]一种用于评估人工标注数据质量的方法及系统

权利要求书

1.一种用于评估人工标注数据质量的方法，其特征在于：包括以下步骤，

S1、根据每个分类的维度，从数据库中读取已标注数据，并根据标注策略对已标注数据进行数据预处理；

S2、对进行过数据预处理后的已标注数据，进行低质量标签的贡献度评估；

S3、对进行过数据预处理后的已标注数据，进行标签丰富度评估；

S4、对进行过数据预处理后的已标注数据，进行标签准确率评估；

S5、对进行过数据预处理后的已标注数据，进行高频标签的多样性和贡献度评估；

S6、根据步骤S2、S3、S4和S5的评估结果，计算每个标注人员的标注评分；

步骤S3包括如下内容，

S301、选择“多选”+“必选”维度作为多选标签丰富度评估数据源；

S302、计算S301中所选维度的多选标签丰富度，计算公式为，多选标签丰富度＝标注人员多选维度的标签总量/该标注人员的总标注条数；

S303、选择“非必选”且“非多选”的维度作为非必选标签丰富度评估数据源；

S304、计算步骤S303中所选维度的非必选标签丰富度，计算公式为，非必选标签丰富度＝标注人员非必选维度的标签总量/该标注人员的总标注条数；

S305、若在标注系统中，将每个专辑的标签做了关联处理，则在获取每个标记人员的总标注量时，需要根据专辑名和标签内容做去重处理，即同一个专辑下的相同标注结果计为一条；

S306、计算标注量比例，计算公式为，标注量比例＝每个标注人员的标注数目/总的标注数目；

步骤S4包括如下内容，

S401、使用数据来源网站自带的标签对已标注数据进行准确率评估，得到第一标注准确率；

S402、基于对偶学习思想对已标注数据进行准确率评估，得到第二标注准确率和文本分类模型测试结果；

S403、根据步骤S401和S402的评估结果，进行标签准确率评估计算；

其中，步骤S401包括如下内容，

S4011、标签准确率评估测试数据的获取；在获取已标注数据时，部分数据来源网站会自带与标注系统中相应的标签；从这类已标注数据中选择部分作为评估标签准确率的测试数据；

S4012、评估已标注数据的第一标注准确率，从已标注数据中获取测试数据的标注结果；并将数据来源网站的标签与标注系统中的标签做映射，对于单条已标注数据，当数据来源网站映射后的标签成功被标注人员标注，则该标签被记为准确的；第一标注准确率的计算公式为，标注准确率＝每个标注人员所标注的准确标签数/测试数据中数据来源网站的标签数；

步骤S402包括如下内容，

S4021、文本分类模型以及数据准备；在获取待标注数据时，部分数据来源网站会自带与标注系统中相应的标签，将这部分数据作为文本分类模型的训练数据，并将这类网站中的标签与标注系统中的标签做映射、得到的标签作为文本分类模型的标签；

S4022、根据标注策略，选择重要的维度作为评估目标；

S4023、采用基于对偶学习思想的准确率评估方法，进行标签准确率评估；

S4024、根据步骤S4023获取的评估结果，计算标签准确率。

2.根据权利要求1所述的用于评估人工标注数据质量的方法，其特征在于：步骤S1包括如下内容，

S101、如果已标注数据按照专辑标注，则根据专辑名对已标注数据进行去重处理；

S102、若维度中标签为多选，则将该维度中的标签分割成list形式。

3.根据权利要求1所述的用于评估人工标注数据质量的方法，其特征在于：步骤S2包括如下内容，

S201、选择标签类型完备、且带有低质量标签的维度作为已标注数据的低质量评估数据源；

S202、对于多选的维度，若标注人员在选择低质量标签的同时亦选择了其他标签，则此条已标注数据不计入低质量标注的数目；

S203、根据标注策略，选择合适的标签作为低质量标签；

S204、分别计算标注人员对S201中所指定的各个维度低质量标签的贡献度，并将各个维度的计算所得结果相加；其中各个维度的计算公式为，标注人员对维度的低质量标签贡献度＝标注人员在该维度所标注低质量标签的数据/该标注人员在当前维度所标注标签的总数。