[发明专利]众包质量控制方法、装置、计算机存储介质和计算设备

说明书

本发明提供了一种众包质量控制方法和装置。该方法首先从众包任务中抽取一定比例的数据，并将抽取的数据复制多份，作为冗余数据，未被抽取的数据作为非冗余数据。然后，在保证同一个众包工作单元的任务中不包含重复数据的条件下将冗余数据和非冗余数据分配给众包工作单元进行标注。在标注完成后，根据冗余数据的标注结果，通过寻找多数元素的算法得出冗余数据的最终答案，并根据该最终答案对每个众包工作单元的冗余数据的标注结果进行校验，得出其在冗余数据上的正确率。最后，根据每个众包工作单元在冗余数据上的正确率判定其众包任务的整体完成情况。本发明实现了无监督的任务众包质量控制，大大降低众包任务的资金成本和人力成本。

技术领域

本发明涉及互联网技术领域，特别是一种众包质量控制方法、众包质量控制装置、计算机存储介质以及计算设备。

背景技术

众包指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法，是一种公开面向互联网大众的分布式的问题解决和生产组织机制。它具有低成本、收效快、可进行大规模任务等优点，越来越受到人们的欢迎。但是由于众包的自由松散的组织模式、众包工作单元专业知识不同，能力水平存在差异，工作目的、认真程度也不同(例如：在众包工作单元中存在一些完全以快速获取利益为目的的欺诈者，他们对待任务极度不认真)，经常会导致低质量的众包结果。因此，众包的质量问题成为了人们当前在众包技术上关注的主要问题。

为了解决众包质量低的问题，众包质量控制策略的研究逐渐开展起来。目前用于控制众包质量的技术主要有以下四种：

第一种，重复众包任务，产生冗余数据。也就是说，将每个任务同时分发给多个众包工作单元，然后再利用一些统计方法(比如大多数投票的方法)从多个结果中得到最终结果。但是，这种方式会使得任务量成倍增加，随之带来的是成本剧增的问题。

第二种，使用黄金标准数据来检测标注质量。黄金标准数据(Golden StandardData)是指拥有标准答案的一类数据，这些数据通常由拥有任务相关领域专业知识的专家来产生。通过在每个众包工作单元的任务中掺入一定比例的黄金标准数据，用以检测工作者标注结果的质量。但是，这种方式存在因标注大量黄金标准数据而带来的人力和资金成本增加的问题。

第三种，预先对众包工作单元进行考核测试。也就是说，在众包工作单元领取众包任务前先利用一些已知答案的数据对众包工作单元进行测试考核，考核通过的众包工作单元方可取得开始众包任务的资格。目前亚马逊的众包平台上很多众包任务就采取此方式。这种方式的缺点在于，需要事先准备一批带标准答案的数据，会产生额外的成本。另外，对于通过考核取得众包资格后却不认真完成众包任务的工作者仍无法检测其标注结果的质量。

第四种，通过专职人员对众包结果进行审核。也就是说，聘用专业人员来对众包结果进行全部或抽样审查，将不合格的众包结果删除。但是，这种方式同样存在资金和人力成本高的问题，并且不适合大规模众包任务。

总而言之，现有技术虽然在一定程度上提高了众包质量，但却增加了人力成本和资金成本。因此，亟需一种可节省资金和人力成本的众包质量控制方法。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的众包质量控制方法、众包质量控制装置、计算机存储介质以及计算设备。

根据本发明实施例的一方面，提供了一种众包质量控制方法，包括：

按第一指定比例从所有众包任务中随机抽取数据，并将所抽取的数据复制n份，其中，将所抽取的数据和其复制数据作为冗余数据，未被抽取的数据作为非冗余数据，n为大于或等于2并且小于众包工作单元数量的整数；

将由所述非冗余数据和所述冗余数据组成的总任务分配给众包工作单元进行标注，其中，同一个众包工作单元所分配的任务中不包含重复的冗余数据；