[发明专利]一种基于深度贝叶斯学习的图像标记估计方法

权利要求书

1.一种基于深度贝叶斯学习的图像标记估计方法，其特征在于，包括以下步骤：

1)获取图像数据，将图像分发给网络上的标注者进行预标注，获得众包标记L；

2)对图像做特征预提取处理，获得图像的fisher vector特征表示X；

3)搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；

4)将图像fisher vector特征X及众包标记L输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；

5)基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；

6)返回模型输出的图像真实标记估计及各标注者的混淆矩阵。

2.根据权利要求1所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述深度贝叶斯模型为一个完全贝叶斯深度生成式众包模型，包括标注生成过程模型和隐真实标记的先验模型，所述标注生成过程模型对每个标注者采用独立混淆矩阵参数化来刻画标注者的能力，基于标注者混淆矩阵V和图像真实标记Y构造众包标记L的似然p(L∣Y,V)；所述隐真实标记的先验模型包括第一先验分布和第二先验分布，所述第一先验分布为数据无关的先验分布，是所有图像共享同样的、由参数π刻画的先验分布p(Y∣π)，所述第二先验分布为依赖于输入特征X和参数为γ的神经网络分类器的先验分布p(Y∣X,γ)；

得到基于众包标记L、真实标记Y及全局参数Θ＝{V,π}的联合分布为：

p(L,Y,Θ∣X,γ)＝p(π)p(Y∣π)p(Y∣X,γ)p(L∣Y,V)p(V)

p(π)、p(V)分别表示参数π和混淆矩阵V的先验分布。

3.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述标注生成过程模型表示为：

其中L_ij表示标注者j在图像i上的众包标记，V_j表示标注者j的混淆矩阵，y_i表示图像i的真实标记，N、W分别表示图像数目及标注者数目，表示指示函数。

4.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述数据无关的先验分布为：

p(y_i,π)不依赖于样本i的信息，完全由π所决定，π维度为K，表示所有图像数据中，分别属于K个类别的数据所占比例，表示第k个维度的取值，取值在[0,1]；

所述依赖于输入特征和参数为γ的神经网络分类器的先验分布为：

p(y_i∣x_i,γ)＝Categorical(τ(x_i；γ))

Categorical表示图像i的真实标记y_i所服从的多变量离散分布，该分布由自然参数τ刻画，而τ为图像fisher vector特征x_i的函数，函数的参数用γ；

综合上述两个先验分布，得到所有图像数据集的真实标记Y的先验分布为：

5.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述变分下界损失函数形式为：

其中q(Y)、q(Θ)分别为图像的真实标记Y和全局参数Θ的后验分布。

6.根据权利要求2所述的基于深度贝叶斯学习的图像标记估计方法，其特征在于，所述步骤5)包括：

5.1)输入特征矩阵X、众包标记L、全局变分参数的初始值η_Θ、神经网络参数γ；

5.2)使用η_Θ、γ、L，对每一个图像x_i计算出其真实标记的自然参数

5.3)使用计算出η_Θ、γ的梯度；

5.4)根据计算出的梯度，使用随机梯度下降算法更新参数η_Θ、γ；

5.5)判断是否满足迭代结束条件，不满足则返回步骤5.2，否则结束训练阶段；

5.6)使用预测出来的充足统计量来估计每张图像的真实标签概率和每个标注者的混淆矩阵。