[发明专利]一种基于自步学习的众包分类数据质量控制方法

权利要求书

1.一种基于自步学习的众包分类数据质量控制方法，其特征在于，动态地选择样本点进行模型的学习，同时输出待标注对象的分类结果以及众包任务中的恶意工作者；其中，恶意工作者定义为能力较低或故意给出错误答案的工作者；步骤如下：

(一)定义工作者总数为W，定义标注对象总数为N，K为真实分类的总数；α_i为第i个工作者的能力，其取值范围为(-∞,+∞)，t_i为该工作者标注的样本个数；β_j为第j个待标注对象的难度，其取值范围为(0,+∞)，d_j为该对象被标注的次数，z_j为第j个待标注对象的真实分类，l_ij表示第i个工作者标注第j个待标注对象的分类，则第i个工作者将第j个待标注对象标注为l_ij的概率为p(l_ij|z_j,α_i,β_j)

当l_ij＝z_j时，即该工作者标注的分类为真实分类时，公式(1)简化为公式(2)

(二)随机初始化参数α_i、β_j以及z_j；定义第i个工作者对第j个待标注对象标注的样本点权重为w_ij，则w_ij根据公式(3)进行计算

其中，z_jk表示第j个待标注对象属于第k个真实分类，1≤k≤K，p(w_ij)根据公式(4)进行计算

p(w_ij)＝Beta(d_j×t_i,λ(W×N)) (4)

其中，Beta为Beta分布，λ为调整先验的参数，其取值范围为(0,1)；定义取值区间为(0,1)的阈值σ，当w_ij≥σ时，则选择该样本点，并用v_ij＝1来表示；当w_ij＜σ时，则不选择该样本点，并用v_ij＝0来表示；

(三)利用步骤(二)得出的v_ij＝1的样本点和公式(5)来计算真实分类概率

然后根据公式(6)和(7)以概率梯度上升的方式更新α_i和β_j，直到最大迭代次数

其中δ为狄拉克函数，即l_ij和z_jk相等时为1，不相等时为0；

(四)根据步骤(二)重复计算权重w_ij来选择新的样本点，然后计算新的p(z_j|l_ij,α,β,v_ij)，并更新新的α_i和β_j，直到收敛；最后，对于每一个待标注对象，根据公式(2)计算所有的p(l_ij＝z_j|α_i,β_j)，选择p(l_ij＝z_j|α_i,β_j)取值最大的分类作为最终输出；同时，若α_i＜0则认为第i个工作者为恶意工作者。