[发明专利]标注质量监控方法、装置、计算机设备和存储介质

说明书

本申请涉及一种标注质量监控方法、装置、计算机设备和存储介质，计算机设备根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，并根据量化结果对标注员的标注任务质量进行监控，这样，通过计算机设备自动对标注员标注任务质量的量化，不仅使得标注任务审核自动化，还可以根据量化结果直观的观察各标注任务质量的好坏，方便对标注员的工作进行考核，大大提高了监控标注质量的效率。

技术领域

本申请涉及数据标注技术领域，特别是涉及一种标注质量监控方法、装置、计算机设备和存储介质。

背景技术

近些年来，随着高性能的图形处理器(Graphics Processing Unit，简称GPU)的发展以及深度学习技术的进一步研究，深度学习技术在无人驾驶的感知算法中的应用也是越来越多，同时，对于深度学习而言，高质量的标注数据在很大程度上决定了深度学习算法最终的准确率。

为了提高深度学习的样本数据，需要大量的标注员进行到标注工作中。为了提高标注质量，管理人员必须对标注员的标注任务质量进行监控，但是，标注员进行的标注任务，通常是没有标准值的，也就是说，管理人员在检查标注员的标注任务结果时，没有标准的标注答案供参考，只能是管理人员以及相关专业人员，根据经验人工对标注员的标注任务质量进行监控，在标注员和标注任务数量众多的情况下，人工监控标注员的标注质量的工作量太大，标注质量管理效率下降，容易出现标注质量监控不到位的情况。

因此，如何更好的量化标注员进行的标注任务质量，提高监控标注质量的效率，从而促进标注员提高标注质量成为亟待解决的技术问题。

发明内容

基于此，有必要针对上述如何更好的量化标注员进行的标注任务质量，提高监控标注质量的效率，从而促进标注员提高标注质量成为亟待解决的技术问题，提供一种标注质量监控方法、装置、计算机设备和存储介质。

第一方面，本发明实施例提供一种标注质量监控方法，所述方法包括：

根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

根据所述量化结果对所述标注任务质量进行监控。

在其中一个实施例中，所述根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果，包括：

采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率；

根据所述准确率、所述召回率和所述跟踪率确定所述量化结果。

在其中一个实施例中，所述采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率，包括：

确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量；

将所述匹配框的数量和所述标准标注数据中标注框数量的比值确定为所述召回率；

将所述匹配框的数量和所述标注员标注任务中的标注框数量的比值确定为所述准确率；

根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率；所述相同编号表示所述标注任务中前后帧的标注框类型相同。

在其中一个实施例中，在根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率之前，所述方法包括：

获取各相同编号匹配框的数量和各所述标注员标注任务中相同编号标注框的数量；

所述根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定所述跟踪率，包括：

将所述各相同编号匹配框的数量和所述标注员标注任务中各相同编号标注框的数量比值的平均值确定为所述跟踪率。