[发明专利]一种基于元学习的弱监督图像多标签分类方法

权利要求书

1.一种基于元学习的弱监督图像多标签分类方法，其特征在于，所述方法在弱监督图像多标签分类系统上实现，所述弱监督图像多标签分类系统包括一个基于标签信息增强的图像多标签分类网络和一个基于元学习的教师-学生网络训练架构；所述的多标签分类网络包括一个编码器和一个解码器；所述编码器接收图像作为输入，采用ResNet-152预训练模型得到图像的低维特征矩阵和高维特征向量；所述解码器是LSTM序列解码结构，用于生成标签标注序列；所述基于元学习的教师-学生网络架构包括一个教师模型和一个学生模型；所述弱监督图像多标签分类方法包括以下步骤：

(1)将图像输入到编码器，选择该编码器网络中最后一层和倒数第三层的输出，作为图像的低维特征矩阵和高维特征向量；

(2)将编码后的高维特征向量作为图像的抽象表示，并将该抽象表示作为解码器的初始输入，并预测预定义的标签序列中第一个标签是否相关；

(3)根据标签序列中前一个标签预测信息作为解码器的当前输入，来预测标签序列中当前标签是否相关；

(4)重复步骤(3)，直到标签序列中的标签均已被预测；

(5)将获得的标签序列与正确的标签序列进行比较，采用基于元学习的教师-学生网络架构计算损失值，通过优化方法最小化该损失值，最终获得训练好的用于图像标注的多标签分类网络；

(6)获取待检测图像，将待检测图像输入训练好的用于图像标注的多标签分类网络，获取图像的标注结果。

2.如权利要求1所述弱监督图像多标签分类方法，其特征在于：步骤(3)包括以下子步骤：

(3.1)假定当前预测标签序列中的第t个标签，第t-1个标签预测概率值为根据该预测概率值获取对应的标签向量表征值e_t-1；

其中τ表示阈值超参数，和分别表示第t-1个标签的相关和不相关对应的可训练的表征向量；

(3.2)将编码器得到的低维特征V_feat与解码器第t-1个隐状态h_t-1进行交互，以获取过滤无关特征后的图像表征a_i，t；

α_i，t＝f_att(v_i，h_t-1)

其中f_att表示Attention网络；

(3.3)将标签表征特征e_t-1和图像表征特征a_i，t进行拼接来获取当前解码器的输入表征x_t，然后通过解码器得到对应的第t个隐状态h_t，将h_t输入到第t个标签分类层得到对应的标签预测值

h_t＝f_LSTM(x_t，h_t-1，c_t-1)

其中f_LSTM表示LSTM单元，W_t和b_t表示第t个标签分类层的可训练参数。

3.如权利要求1所述弱监督图像多标签分类方法，其特征在于：步骤(5)包括以下子步骤：

(5.1)构建两个基于标签信息增强的深度学习模型，分别作为学生模型f_stu(I；θ)和教师模型其初始模型参数分别为θ₀和

(5.2)对学生模型参数θ₀进行随机初始化，之后根据梯度进行更新，而教师模型参数采用指数移动平均算法更新模型参数；

其中θ_t表示在第t次训练迭代中学生模型的参数，和分别表示第t次和第t-1次训练迭代中教师模型的参数，β＞0表示超参数加权权重；另外

(5.3)从弱监督训练数据集中随机抽取小批量数据集；

(5.4)将小批量数据中的图像I输入到学生模型f_stu(I；θ)中得到对应的预测值采用二分类交叉熵计算对应的监督损失

(5.5)将小批量数据中的图像I输入到教师模型中，采用均方差计算对应的一致性损失

(5.6)将监督损失和一致性损失相加作为最终监督损失

其中α₃是最终监督损失的超参数权衡权重；

(5.7)根据最终监督损失计算学生模型参数θ的梯度

(5.8)从小批量数据集抽取η个数据放入剩余数据放入元测试数据集

(5.9)对于将中的图像I按一定概率λ进行翻转、裁剪加噪处理，得到将中的标签y_i随机掩盖ρ数量的标签，得到最终获得元训练数据集

(5.10)将元训练数据中的图像输入到学生模型f_stu(I；θ)中得到对应的预测值采用二分类交叉熵计算对应的监督损失

(5.11)将元训练数据中的图像输入到教师模型中得到对应的预测值采用均方差计算对应的一致性损失

(5.12)将监督损失和一致性损失相加作为最终元学习目标

其中α₁是最终元学习目标的超参数权衡权重；

(5.13)根据元学习目标在元训练数据集计算一步梯度下降，得到元学习参数θ′；

其中γ是超参数学习率；

(5.14)将元测试数据中的图像输入到学生模型f_stu(I；θ′)中得到对应的预测值采用二分类交叉熵计算对应的监督损失

(5.15)将元测试数据中的图像输入到教师模型中得到对应的预测值采用均方差计算对应的一致性损失

(5.16)将监督损失和一致性损失相加作为最终元学习损失

其中α₂是最终元学习损失的超参数权衡权重；

(5.17)根据元学习损失在元测试数据集计算梯度再与步骤(3)获得的梯度相加得到最终梯度对学生模型参数θ进行更新；

其中α是超参数学习率。