[发明专利]一种抵御串谋的众包方法

说明书

本发明提出一种抵御串谋的众包方法，包括以下步骤：步骤1，请求者通过众包平台来发布任务；步骤2，众包平台根据平台的协议和一定的约束条件来进行任务分配；步骤3，任务处理，然后进行答案收集；步骤4，对收集的答案进行串谋检测，如果为正常工人的答案则跳转至步骤6，如果为串谋工人的答案跳转至步骤5；步骤5，对串谋工人的答案进行处理；步骤6，进行答案汇聚，并把汇聚结果提交给请求者。

技术领域

本发明涉及一种众包方法，尤其涉及一种抵御串谋的众包方法。

背景技术

众包旨在利用人群智能去解决对于机器较难的任务。目前，众包已经在许多应用中取得了成功，如图片标注、数据收集、软件开发等。众包过程主要分为两阶段，即答案收集和答案汇聚。答案收集主要负责把每一个任务分配给合适的工人进行处理，并收回答案。答案汇聚主要关注如何利用多个工人的答案汇聚出高质量的结果。在众包过程中，保障工人工作的独立性是实现人类群体智能的前提条件。然而，在实际众包应用中，工人之间往往却存在协作关系。另外，工人在平台之外甚至组成了隐式的协作网络。虽然工人之间的协作往往有利于提高任务完成的质量，但是协作带来的频繁交互往往能够给工人之间串谋提供了方便。为了在付出尽量少劳动力的条件下获得尽量高额的报酬，部分工人往往形成串谋小组。在串谋小组中，往往只有一个工人会像正常工人那样付出劳动并完成任务，剩下的工人会抄袭正常做题工人的大部分任务的答案。在这种情况下，收集到的答案中将会存在大量由于串谋行为产生的重复答案。因为大多数众包答案汇聚方法都是基于答案出现的频率进行结果推理的，所以出现的频率越高的候选答案则认为越可能是正确答案。串谋行为产生的重复答案将会影响甚至主导众包最后的结果。因此如何有效地抵御众包中的串谋行为是一个重要的问题。

串谋行为能够影响甚至主导众包的结果，有效地检测并合理地处理串谋行为对众包的质量保障至关重要。然而现存技术不能有效地检测和处理众包中的串谋行为。

在串谋检测方面，现有基于工人答案相似度的串谋检测方法的检测结果往往具有高假阳性。这是因为，实际上高能力的正常工人往往也会提交大量重复且正确的答案。显然他们提交的答案往往相似度较高。而现有基于工人答案相似度的串谋检测技术容易把这部分答案错判为串谋行为产生的答案。另外，现有的基于工人能力表现变化率的检测方法往往具有高假阴性。这是因为这种方法假设串谋工人是提交完全重复的答案的。但是在实际上，一些串谋者为了躲避检测，除了抄袭一部分任务之外，他们也会独自地完成一部分任务，并提交答案。因此，几乎不存在工人在所有任务上的答案序列是完全相同的。然而，基于工人表现变化率的串谋检测方法是基于串谋工人在所有任务上的答案序列是完全相同的假设条件的。因此，此类方法往往会错把串谋工人产生的答案误判为正常工人的答案。

在串谋处理方面，现有的串谋处理技术对检测出来的串谋工人的答案进行直接删除可能会降低最后众包结果质量。在工人的串谋过程中，在串谋小组中，往往只有一个众包工人像正常工人一样来处理任务，而剩下的工人会抄袭这个唯一正常做题的工人的大部分答案。

因此，串谋工人的答案质量和被抄袭工人的能力极其相关。当被抄袭的工人能力较高时，串谋行为会产生更多的高质量并且重复的答案，在这种情况下，串谋产生的答案有利于众包最终结果的质量。直接消除这些高质量的答案往往会导致答案汇聚结果质量的下降。

发明内容

综上所述，现有技术不能较好地抵御众包中的串谋行为。为此，本发明针对现有技术存在的问题，提出了一种抵御串谋的众包方法，其中，主要包括两个环节，串谋行为检测和串谋答案处理。

一种抵御串谋的众包方法，其特征在于，包括以下步骤：

步骤1，请求者通过众包平台来发布任务；

步骤2，众包平台根据平台的协议和一定的约束条件来进行任务分配；

步骤3，任务处理，然后进行答案收集；

步骤4，对收集的答案进行串谋检测，如果为正常工人的答案则跳转至步骤6，如果为串谋工人的答案跳转至步骤5；