[发明专利]一种众包模式下的标签数据统计推断方法

说明书

本发明公开了一种众包模式下的标签数据统计推断方法，本方法定义了最优目标函数，给出了标注员、对象等不同维度的约束条件，使用拉格朗日对偶变换进行模型的求解。拉格朗日变换中的拉格朗日乘子分别度量了标注员的专业水平和对象标注的难度，优化结果不受标记员的标注水准和个别标定任务的复杂度的影响。针对数据量较少的情况，加入了松弛变量以使结果达到更好的效果。

技术领域

本发明涉及数据挖掘与机器学习技术领域，更具体地，涉及一种众包模式下的标签数据统计推断方法。

背景技术

随着Internet技术的快速发展，众包服务作为一种灵活、有效的解决方式，开始受到人们越来越多的关注。随着Internet技术的不断发展，众包服务(crowdsourcing)应运而生，众包指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式包给非特定的(而且通常是大型的)大众网络的做法。众包的任务通常是由个人来承担，但如果涉及到需要多人协作完成的任务，也有可能以依靠开源的个体生产的形式出现。

最近几年，众包领域的各方面研究都取得了很大的进展，提出了许多采用众包手段的新型应用，出现了不少具体的处理方法，得到了不错的工作效果。由于众包应用产生在复杂的在线网络交易平台的背景中，开始出现了众包应用的质量控制问题，因此研究如何有效地提高任务完成的质量，并将恶意工作者识别出来，成为了目前众包研究工作中一个急需解决的问题，而且众包平台中工作者的匿名性质，导致它和传统外包任务的处理方式有很大的不同，准确并高效解决众包质量问题具有重要意义。

现有众包模式中，在获得数据标定任务的标记数据后，主要通过投票法的方式来推断最终结果，这种方案能够在大多数人掌握正确结果的条件下得到客观描述，但是没有考虑到少数人可能掌握正确结果的情况，而且这种情况是会时常出现的。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种众包模式下的标签数据统计推断方法，通过使用拉格朗日对偶变换，将标注员水平以及标定任务的复杂程度纳入约束条件。

为实现上述目的，本发明的技术方案如下：

一种众包模式下的标签数据统计推断方法，其特征在于，包括以下步骤：

Step1：建立众包数据的统一形式，记标注员数量为m个，客观对象的数量为n个，类别的数量为c个，并记样本中标注员i将客观对象j划分至类别k的频率为z_ijk，z_ijk所遵循的分布记为π_ij，分布π_ij的概率记为π_ijk，π_ijk的含义为实际数据中标注员i将客观对象j划分至第k类的概率，i＝1～m,j＝1～n,k＝1～c；

Step2：构建标注员对客观对象产生类别标签的模型，以y_jl表示对象j在类别l中的概率，l＝1～c，以下步骤的目的就是求解y_jl：

Step2.1：极大熵模型，首先极大化目标函数以确定用户打标签的概率分布：

Step2.2：对极大化熵再进行极小化，推断y_jl的优化模型为：

Step3：运用拉格朗日变换方法，引入拉格朗日乘子λ_ij,τ_jk,σ_ikl，构造拉格朗日函数为