[发明专利]一种抵御串谋的众包方法

权利要求书

1.一种抵御串谋的众包方法，其特征在于，包括以下步骤：

步骤1，请求者通过众包平台来发布任务；

步骤2，众包平台根据平台的协议和一定的约束条件来进行任务分配；

步骤3，任务处理，然后进行答案收集；

步骤4，对收集的答案进行串谋检测，如果为正常工人的答案则跳转至步骤6，如果为串谋工人的答案跳转至步骤5；

步骤5，对串谋工人的答案进行处理；

步骤6，进行答案汇聚，并把汇聚结果提交给请求者；

所述串谋检测的流程包括以下步骤：

步骤4-1，在完成答案收集之后，首先计算工人答案的观察一致性，l_1j和l_2j分别为工人w₁和工人w₂对于任务t_j提交的答案，T₁为工人w₁完成的任务集合，T₂为工人w₂完成的任务集合，工人答案的观察一致性π_o为

其中，

然后计算工人答案的期望一致性，设为随机分布在任务集合中的黄金测试任务，并且为的真值，则第i个工人w_i的能力为

工人答案的期望一致性计算如下：

其中，K为任务的候选答案的个数，x_k为第k个候选答案，y_j为任务t_j的真值，i，j为正整数；

步骤4-2，计算工人的串谋可能性，利用公式(2)计算工人w₁的能力a₁和工人w₂的能力a₂，得到工人答案的观察一致性和工人答案的期望一致性后，计算工人的串谋可能性Z：

其中，

步骤4-3，判断工人是否为串谋工人，在得到串谋可能性Z之后，若串谋可能性大于阈值p，则判定工人w₁和工人w₂为串谋工人；若串谋可能性小于阈值p，则判定工人w₁和工人w₂为正常工人；

所述串谋处理的流程包括以下步骤：

步骤5-1，鉴定正常工人并保留正常工人的答案，对于串谋小组被抄袭者w_ld鉴定为：

其中，n′为小组中串谋者在黄金测试任务集合中提交相同答案的任务数量，n*为n′个任务中串谋者提交正确答案的任务数量，a_i为通过黄金测试任务估计出的工人能力；

步骤5-2，然后计算串谋答案可用性γ，为正常工人的集合，删除串谋小组中抄袭者的工人集合为保留串谋小组中抄袭者的工人集合为工人集台中工人的平均能力为：

工人集合中工人的平均能力

串谋答案可用性为

步骤5-3，计算串谋答案可用性的理论阈值；对应工人集合的平均任务完成率为：

其中，n表示任务数量，T_i为工人w_i完成的任务集合，工人集合的平均任务完成率为

在一个串谋小组中，串谋工人进行抄袭的概率α为：

其中，c为串谋小组包含的工人数目，l_ij为工人w_i在任务t_j上的答案，为串谋小组在任务集合上提交的答案集合；

最后串谋答案可用性的理论阈值为

其中，m为工人集合包含的工人数目；

步骤5-4，判断是否保留串谋答案集合，为正常工人在任务集合上提交的答案集合，对于每一个串谋小组进行可用性与阈值的判断，所述可用性与阈值的判断的方式为，如果串谋答案可用性γ大于阈值η_d，则保留串谋小组中串谋产生的答案如果串谋答案可用性γ小于阈值η_d，则删除串谋小组中串谋答案其中L_ld为被抄袭者在任务集合上提交的答案集合，对所有串谋小组进行上述可用性与阈值的判断后，最后将答案集合提交后进行答案汇聚。