[发明专利]一种众包代价复杂度的获取方法

说明书

一种众包代价复杂度的获取方法，包括以下步骤：步骤1，由任务分配模块进行分配任务，众包任务被分配给从工作者池中选择的一组工人，由任务分配模块进行任务分配后得到参加任务处理的工人在能力上的概率分布，以及工人分布的方差和期望；步骤2，利用参数学习模块进行参数学习，所述参数学习模块对所述任务分配模块输出的工人分布的方差和期望进行机器学习从而获取参数学习的误差；步骤3，利用结果汇聚模块获取任务的真实结果，所述结果汇聚模块利用工人分布的方差和期望得到此众包处理过程的代价复杂度，所述代价复杂度为参加众包任务处理的人数。

技术领域

本发明涉及一种获取方法，尤其涉及一种众包代价复杂度的获取方法。

背景技术

众包这种任务处理模式被广泛应用于传统的各个行业。众包与工程的结合给传统的工程开发带来新的机遇，越来越多的工程开发任务在众包平台发布、完成。众包开发是把企业内部由员工执行的开发任务，以自由自愿形式发布于大众网络中，个体间往往以竞争或竞价的形式完成开发任务。众包相比传统的企业内部开发有众多的优势，其中主要的特点有：①低成本：节省了长期雇佣员工的开销，充分利用互联网上开发者群体资源，极大降低了开发的成本②短周期：充分利用分布在不同地理、时区的开发者，并行完成任务，加快工程开发速度，③高创新：充分利用群体智慧，汇聚群体的新颖想法，有较高的创新性。

众包提供了解决许多现实问题的有效手段，例如标注机器学习的训练数据。众包对任务的处理过程可以被建模为工作流，工作流中主要包括任务分配和结果推理两部分。任务分配涉及哪些工人被选择来处理任务，以提高工人处理任务的质量。而结果推理负责通过工人提供的答案推理高质量的结果。因此，众包研究的最终目标是以尽可能低的代价获得高质量的结果，其中质量通常以结果错误率衡量，并且可以用对工人的询问次数来衡量代价。这和机器学习中的抽样复杂度是类似的。因为在工人的答案中存在不可预知的噪音。研究者提出各种各样的方法以提高众包的质量。为了获取所提方法的有效性，现有技术中大多采用实验分析。然而，一种方法的性能在不同众包工程中会有很大变化，。所以，当前缺乏一个能够获取众包复杂度的方法。

现有技术中获取众包复杂度的方法存在以下几点缺陷。(1)现有技术中的工作尝试给出关于众包复杂度的定性的说明，然而并没有具体方法来衡量特定的众包工程的复杂度。(2)关于现有的如何获取众包复杂度的研究工作主要集中在估算特定结果汇聚算法的错误率的上界，但是现有技术均假设结果汇聚算法中的参数是已知的，并没有考虑结果汇聚的质量会受到参数学习的影响。例如，不准确的参数学习可能会导致homogeneousDawid-Skene模型比没有参数学习的表现要差得多。由此可见，这类方法难以准确地评估结果汇聚算法的性能。(3)众包的质量与任务分配以及选择的众包平台密切相关，现有技术中再获取复杂度时并没有考虑到众包平台的差异性。

发明内容

为了更好地解决上述问题，一种众包代价复杂度的获取方法，其特征在于，包括以下步骤：步骤1，由任务分配模块进行分配任务，众包任务被分配给从工作者池中选择的一组工人，由任务分配模块进行任务分配后得到参加任务处理的工人在能力上的概率分布，以及工人分布的方差和期望；步骤2，利用参数学习模块进行参数学习，所述参数学习模块对所述任务分配模块输出的工人分布的方差和期望进行机器学习从而获取参数学习的错误率；步骤3，利用结果汇聚模块获取任务的真实结果，所述结果汇聚模块利用工人分布的方差和期望得到此众包处理过程的代价复杂度，所述代价复杂度为参加众包任务处理的人数。

本发明可以准确预测在一个众包方法下，要达到特定的结果质量，以及需要参与任务处理的人次，从而可以评估各个众包方法的优劣，并帮助众包工程进行工人的调度。本专利可以不限于某种平台进行获取众包的代价复杂度，使得获取众包结果更快捷有效，比以往的众包的代价复杂度获取方法节省时间成本，并增加了获取众包代价复杂度的结果的可靠性。

附图说明

图1为本发明的众包代价复杂度的流程；

具体实施方式