[发明专利]一种标注数据的审核方法及装置

说明书

本发明公开了一种标注数据的审核方法及装置，涉及数据处理技术领域，主要目的在于提高标注数据的审核效率；主要技术方案包括：获取未审核的标注数据集中的各标注数据的置信度值，所述置信度值与相应标注数据的标注的正确概率相关；基于标注数据的置信度值辅助标注数据的人工审核过程。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种标注数据的审核方法及装置。

背景技术

随着大数据时代的来临，众多行业的数据量成几何级数的增长。为了更好的对海量数据进行利用，通常对数据进行标注，以便使数据可以更好的驱动生产、经营、生活等各种活动。在数据应用于机器学习以及数据挖掘等场景下时，为了使已标注的标注数据更好更准确，通常需要对已标注好的标注数据进行审核。

目前，通常采用人工审核方式对已标注好的标注数据进行审核。在人工审核时，审核员需要逐个对标注数据进行人工审核，且全部的标注数据均要逐个被审核才能完成整个人工审核过程。可见，这种人工审核方式完全依赖于审核员的主动识别来完成审核，标注数据的审核量巨大，审核效率较低。

发明内容

有鉴于此，本发明提出了一种标注数据的审核方法及装置，主要目的在于提高标注数据的审核效率。

第一方面，本发明提供了一种标注数据的审核方法，该方法包括：

获取未审核的标注数据集中的各标注数据的置信度值，所述置信度值与相应标注数据的标注的正确概率相关；

基于标注数据的置信度值辅助标注数据的人工审核过程。

第二方面，本发明提供了一种标注数据的审核装置，该装置包括：

获取单元，用于获取未审核的标注数据集中的各标注数据的置信度值，所述置信度值与相应标注数据的标注的正确概率相关；

辅助单元，用于基于标注数据的置信度值辅助标注数据的人工审核过程。

第三方面，本发明提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中任意一项所述的标注数据的审核方法。

第四方面，本发明提供了一种存储管理设备，包括：存储器，用于存储程序；处理器，耦合至所述存储器，用于运行所述程序以执行第一方面中任意一项所述的标注数据的审核方法。

借由上述技术方案，本发明提供的标注数据的审核方法及装置，首先获取未审核的标注数据集中的各标注数据的置信度值，然后基于标注数据的置信度值辅助标注数据的人工审核过程。由于置信度值与相应标注数据的标注的正确概率相关，在标注数据的人工审核过程中，标注数据的置信度值可以辅助确定最值得审核的标注数据，审核员可以对标注数据进行有针对性的审核。因此，本发明提供的方案可以提高标注数据的审核效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例提供的一种标注数据的审核方法的流程图；

图2示出了本发明另一个实施例提供的一种标注数据的审核方法的流程图；

图3示出了本发明一个实施例提供的一种可视化界面的示意图；

图4示出了本发明另一个实施例提供的一种可视化界面的示意图；