[发明专利]一种基于用户不一致性信息的协同众包质量控制方法

摘要

本发明公开了一种基于用户不一致性信息的协同众包质量控制方法，该方法包括歧义任务发现和歧义任务修正两个阶段。首先对众包任务中工作者产生的不一致信息进行分析和利用，通过工作者提供的反馈信息发现任务中可能存在的歧义任务，并采用迭代修订的模式进行歧义任务的答案优化。同时，本发明在歧义答案修正阶段融入了“鼓励勇敢者”的激励机制，来激发用户的主观能动性，鼓励用户提供有价值的解释信息，并有效地防止恶意工作者的干扰。

主权项

1.一种基于用户不一致性信息的协同众包质量控制方法，其特征在于，充分利用用户的不一致性信息来发现海量众包任务中的歧义任务，并通过迭代优化的方式提升任务质量；该方法包括以下具体步骤：第一步：通过众包平台对大规模众包任务进行发布，要求工作者提供答案A、答案B或“不确定”选项；第二步：判断题目是否产生差异化较大的不一致答案：如果未产生，则直接确定该题目的最终答案；如果产生，将题目放入不确定集合{N}中，进入第三步；第三步：对于不确定集合{ N }中的题目，要求提供负向或者不确定答案的用户给出解释性信息，转向第四步；第四步：分析用户的反馈信息，得到冗余的备选类别；第五步：通过迭代的方式对不确定集合{N}中的题目逐一进行答案修正；首先向用户展示需要进行修正的题目{Ni},以及通过第四步得到的冗余备选类别；用户一对{Ni}题目进行挑战，选择或填写自己认为正确的答案；然后用户二对用户一的答案进行判定；如果用户二赞同，转第六步；如果用户二不赞同，转第七步；第六步：用户一的答案被选择为最终答案；此题判定结束，用户一获得双倍奖励，用户二获得单倍奖励；结束；第七步：用户二对{Ni}题目进行挑战，选择或填写自己认为正确的答案；用户三对用户一和用户二的答案进行判定；如果赞同用户一，转第八步；如果赞同用户二，转第九步；如果都不赞同，转第十步；第八步：用户一答案被选择为最终答案；此题判定结束，用户一获得双倍奖励，用户三获得单倍奖励；结束；第九步：用户二答案被选择为最终答案；此题判定结束，用户二获得双倍奖励，用户三获得单倍奖励；结束；第十步：随机选择一个答案为最终答案，都无奖励；结束。