[发明专利]一种群体计算的质量控制方法及装置

说明书

技术领域

本发明涉及计算机技术，尤其涉及一种群体计算的质量控制方法及装置。

背景技术

众包(crowdsourcing)指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。近年来，众包在很多领域获得了广泛的应用，众包任务发布者将任务发布在众包平台，通过众包平台，收集大量的数据或者任务完成的结果，这些数据质量越高越好，即主要指收集的数据的广泛性或者完成任务结果的准确性，目前群体计算研究的主要问题集中在控制众包平台的发布任务的花费、控制结果收集和最终答案汇聚的质量。

目前对于众包技术质量控制研究主要基于以下几点：(1)参与者能力分析与选择：由于众包平台参与者来自大众群体，良莠不齐，为了能使得众包任务得以正常完成，怎样判断参与者能力和怎样选用参与者以及如何有效地结合工人因素、请求人的任务优化目标进行在线任务分配是个问题；(2)任务分割与结果汇聚：由于很多任务单个人难于完成，并且众包参与者之间的合作关系较弱。所以如何将一个任务数目庞大的任务集分割成单个参与者能够单独完成的量也是一个很大的挑战。由于众包系统更适合于微观任务，因此为了支持复杂任务，需要把复杂的任务集划分为数目较少的微观任务系列，然后把微观任务系列分发给任务完成者(也称作工人)，并收集工人对微观任务的答案，最后整合工人答案来完成初始的复杂任务。

目前群体计算的研究主要集中在“实名制平台”(所谓实名制即为：平台或者发包者可以根据工人的基本资料获得用户的资料或者工人的信息)，主要通过建立任务和工人的映射关系，从而提高任务完成的质量，然而对于一些平台，参与者的能力良莠不齐及平台本身存在一些恶意的用户，发包方难于获得用户的信息和用户完成历史信息，难于估计参与完成任务的工人的能力，从而较难控制结果收集和最终答案汇聚的质量。

发明内容

本发明提供一种群体计算的质量控制方法及装置，解决了现有技术中较难控制结果收集和最终答案汇聚的质量的问题。

第一方面，本发明提供一种群体计算的质量控制方法，包括：

将待处理的众包任务集合划分成多个任务类别的子任务集合；

从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；

确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；

根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；

根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；

根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果。

可选地，所述将待处理的众包任务集合划分成多个任务类别的子任务集合，包括：

利用谱聚类的聚类方法将所述待处理的众包任务集合划分成多个所述子任务集合。

可选地，所述从所述子任务集合中选择测试任务，包括：

计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；

从每个所述k-1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的N_k/k个子任务，得到N_k(k-1)/k个子任务，并从所述k-1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的N_k/k个子任务，将所述N_k个子任务作为测试任务；其中，所述N_k为预设的测试任务的个数，且为大于1的整数。

可选地，所述计算所述子任务集合与其他任意子任务集合组成的k-1个任务类序对中子任务包含所述子任务集合的信息量，包括：