[发明专利]一种众包系统中基于检测问题的激励机制的实现方法

说明书

技术领域

本发明涉及众包系统领域，具体涉及众包系统中标签任务的激励机制的实现方法。

背景技术

随着互联网与人工智能的发展，机器学习受到越来越多学者的关注。相应地，对标签数据的需求也呈现大幅增长的趋势。因此，作为一个良好的数据收集平台，众包系统已经逐渐成为机器学习领域的一个重要辅助工具。在众包系统中，任务发布者通过支付一定报酬，将标签任务分发给若干个工人完成，得到多组原始标签数据，并通过一定的数据聚集方法对这些数据进行处理与分析。相对于雇佣专家来完成标签任务，众包系统的优势在于成本低廉。研究表明，在很多标签任务中，通过选择适当的数据聚集方法，大量的廉价非专业工人的答案的表现已经可以媲美专家的答案。

然而，由于客观上缺少足够的专业性以及主观上的消极怠工，在标签任务中，工人的答案的质量往往无法得到保证，相应的标签任务完成质量也无法令人满意。针对这一问题，很多学者提出了不同的改进方法，其中一类重要的方法就是设计激励机制。在很多现实的数据集中，往往可以看到，工人答案的总体质量对任务的完成情况有很大影响。在提高工人答案质量方面，将报酬与答案质量挂钩的激励机制和监督检测机制是常见的思路。这样的激励机制在理论上可以促进工人付出更多的努力来完成标签任务，从而提高答案的质量，同时，对潜在的质量差的答案，可以通过减少报酬来减少任务发布者的损失。因此，在众包系统中引进基于检测问题的激励机制可以帮助提高标签任务的完成质量。

一般来说，按照工人完成的标签任务数量给予对应的报酬是最常见的一种报酬支付方式，这种支付方式对每个完成的任务都给予固定的报酬。显然，这种报酬支付方式对消极怠工的工人来说是脆弱的，工人可以通过随意选择标签完成任务来提高效率，以获得更高的收益。对于任务发布者来说，这种行为无疑是希望被约束的。因此，一些学者利用检测问题提出了不同的改进方法。但是，目前的相关研究大多将检测问题作为一种监督机制，利用检测问题来检查工人的实时工作质量，并决定下一步如何分配任务。这种改进方法需要对工人的状态进行概率方法建模，然而，这种建模往往夸大了工人状态的波动，同时在主观上也缺少足够的激励工人按照要求完成任务的能力。也有少数一些研究考虑根据工人在检测问题上的回答情况给予相应的报酬。然而，现有的这类研究对问题模型的建模都加入了一些额外的限制，使得系统的效率降低。

发明内容

本发明要解决的技术问题是：本技术克服现有技术的一些主要缺点，在尽可能少地对问题模型建模进行额外限制的基础上，提供一种众包系统中基于检测问题的标签任务的报酬激励机制的实现方法。

本发明解决其技术问题的解决方案是：一种众包系统中基于检测问题的激励机制的实现方法，包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。

作为上述技术方案的进一步改进，所述步骤(1)的问题环境假设的具体步骤如下：

(1.1)建立标签任务集合；在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题，每个问题都有B个选项，其中有且只有一个选项是正确的，在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的，同时，对于工人来说，哪些问题是检测问题是未知的；

(1.2)建立报酬函数；由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬，为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题，定义工人在检测问题i上的回答情况为x_i∈{-(B-1),...,B}，其中x_i的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，x_i的符号为正，否则x_i的符号为负；

因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值，定义报酬函数f如下：

f:{-(B-1),...,B}^G→[α_min,α_max]

其中α_min和α_max分别表示给予报酬的最小值和最大值；