[发明专利]标注质量监控方法、装置、计算机设备和存储介质

权利要求书

1.一种标注质量监控方法，其特征在于，所述方法包括：

根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果，包括：采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率；根据所述准确率、所述召回率和所述跟踪率确定所述量化结果；所述召回率为根据匹配框的数量和所述标准标注数据中标注框数量的比值确定的；所述准确率为根据匹配框的数量和所述标注员标注任务中标注框数量的比值确定的；所述跟踪率为根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定的；所述匹配框表示所述标注员标注任务中与所述标准标注数据中标注框相匹配的标注框；所述标准标注数据表示各标注任务的正确标注结果，用于对标注员的标注任务进行量化的参考标准；所述标准标注数据中标注框表示用户预先分配的各标注任务正确结果中的标注框；

根据所述量化结果对所述标注任务质量进行监控；

所述根据所述准确率、所述召回率和所述跟踪率确定所述量化结果，包括：

分别获取准确率占比、召回率占比和跟踪率占比；

根据所述准确率占比、所述召回率占比、所述跟踪率占比和所述准确率、所述召回率、所述跟踪率确定所述量化结果。

2.根据权利要求1所述的方法，其特征在于，在所述采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率之前，所述方法还包括：

确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：

获取各相同编号匹配框的数量和各所述标注员标注任务中相同编号标注框的数量；

将所述各相同编号匹配框的数量和所述标注员标注任务中各相同编号标注框的数量比值的平均值确定为所述跟踪率。

4.根据权利要求3所述的方法，其特征在于，在所述确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量之前，所述方法还包括：

确定所述标注员标注任务中的第一标注框与所述标准标注数据中的第二标注框的交并比；

若所述交并比大于预设阈值，则确定所述第一标注框与所述第二标注框为匹配框。

5.根据权利要求3或4所述的方法，其特征在于，

所述准确率占比、所述召回率占比和所述跟踪率占比总和为1。

6.根据权利要求1所述的方法，其特征在于，在根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果之前，所述方法还包括：

根据用户的操作指令，接收所述标准标注数据；

将所述标准标注数据随机分配在所述标注员的标注任务中。

7.一种标注质量监控装置，其特征在于，所述装置包括：

量化模块，用于根据标准标注数据，采用预设的量化算法对标注员的标注任务质量进行量化，得到量化结果；

所述量化模块，具体用于采用预设的量化算法，获取所述标注任务质量的准确率、召回率和跟踪率；分别获取准确率占比、召回率占比和跟踪率占比；根据所述准确率占比、所述召回率占比、所述跟踪率占比和所述准确率、所述召回率、所述跟踪率确定所述量化结果；所述召回率为根据匹配框的数量和所述标准标注数据中标注框数量的比值确定的；所述准确率为根据匹配框的数量和标注员标注任务中标注框数量的比值确定的；所述跟踪率为根据相同编号匹配框的数量和所述标注员标注任务中相同编号标注框的数量确定的；所述匹配框表示所述标注员标注任务中与所述标准标注数据中标注框相匹配的标注框；所述标准标注数据表示各标注任务的正确标注结果，用于对标注员的标注任务进行量化的参考标准；所述标准标注数据中标注框表示用户预先分配的各标注任务正确结果中的标注框；

监控模块，用于根据所述量化结果对所述标注任务质量进行监控。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

匹配框数量确定子单元，用于确定所述标注员标注任务中的标注框与所述标准标注数据中的标注框之间匹配框的数量。