[发明专利]一种群体计算的质量控制方法及装置

摘要

本发明提供一种群体计算的质量控制方法及装置。本发明一种群体计算的质量控制方法，包括将待处理的众包任务集合划分成多个子任务集合；从子任务集合中选择测试任务，并确定测试任务的难度系数和准确答案；确定第一子任务集合和第二子任务集合；根据测试任务的难度系数确定第一子任务集合中子任务的难度系数；根据测试任务评估工人的能力系数，并根据工人的能力系数以及第一子任务集合中子任务的难度系数确定工人完成子任务的准确度；根据准确度获取第一子任务集合中子任务的完成结果，并获取第二子任务集合中子任务的完成结果。本发明提高了众包任务完成的准确率，也在一定程度上控制了花费。

主权项

一种群体计算的质量控制方法，其特征在于，包括：将待处理的众包任务集合划分成多个任务类别的子任务集合；从所述子任务集合中选择测试任务，并确定所述测试任务的难度系数和准确答案；确定第一子任务集合和第二子任务集合；其中，所述第一子任务集合为加入所述测试任务的子任务集合，所述第二子任务集合为未加入所述测试任务的子任务集合；根据所述测试任务的难度系数确定所述第一子任务集合中子任务的难度系数；根据所述测试任务的难度系数和准确答案评估工人的能力系数，并根据所述工人的能力系数以及所述第一子任务集合中子任务的难度系数确定工人完成所述子任务的准确度；根据所述准确度获取所述第一子任务集合中子任务的完成结果，并获取所述第二子任务集合中子任务的完成结果；其中，所述从所述子任务集合中选择测试任务，包括：计算所述子任务集合与其他任意子任务集合组成的k‑1个任务类序对中子任务包含所述子任务集合的信息量；其中，所述子任务集合的个数为k；所述k为大于1的整数；从每个所述k‑1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k‑1)/k个子任务，并从所述k‑1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务；其中，所述Nk为预设的测试任务的个数，且为大于1的整数；所述从每个所述k‑1个任务类序对中选择包含所述子任务集合的信息量从最大值依次降序排列的Nk/k个子任务，得到Nk(k‑1)/k个子任务，并从所述k‑1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务，将所述Nk个子任务作为测试任务，包括：从每个所述k‑1个任务类序对中选择包含信息量最大的子任务的集合为：T'ij＝{argmax({Iij(tl)|tl∈(Ti/T'ij))}∪T'ij；其中，tl∈(Ti/T'ij)表示子任务tl属于所述Ti，但不属于所述T'ij；所述T'ij的初始值为空集，所述T'ij的元素个数为Nk/k；根据所述T'ij得到所述k‑1个任务类序对中包含Nk(k‑1)/k个子任务的集合为：其中，T为所述众包任务集合；argmax(·)函数用于求出使信息量最大的子任务；从所述k‑1个任务类序对中选择包含所述子任务集合的信息量从最小值依次升序排列的Nk/k个子任务的集合为：其中，tl∈(Ti/Ti”)表示子任务tl属于所述Ti，但不属于所述Ti”；所述Ti”的初始值为空集，所述Ti”的元素个数为Nk/k；表示所述k‑1个任务类序对中tl包含所述Ti的信息量之和；argmin(·)函数用于求出使信息量最小的子任务；将所述Ti”集合中的Nk/k个子任务和所述Ti'集合中的Nk(k‑1)/k个子任务作为Nk个测试任务；所述根据所述测试任务的难度系数和准确答案评估工人的能力系数，包括：设工人的能力系数为a，测试任务为所述测试任务的难度系数为所述测试任务的准确答案为将所述测试任务的完成结果表示为根据先验概率分布，工人提供的所述测试任务的完成结果om为正确答案的概率服从如下公式(1)的分布：所述om为错误答案的概率服从如下公式(2)的分布：其中，θ(x)为赫维赛德阶跃函数；m为1到Nk的整数；利用最大化后验分布可求得下述公式(3)：P(om=GTm⊗om≠GTm|a)=Πom≠GTmKP(om≠GTm|dm;a)Πom=GTmKP(om=GTm|dm;a);---(2);]]>对所述公式(3)采用极大似然估计方法，获取所述能力系数a。