[发明专利]一种基于对抗网络的冗余去除主动学习方法

权利要求书

1.一种基于对抗网络的冗余去除主动学习方法，其特征在于，包括如下步骤：

步骤1：把标记数据和未标记数据输入到表示生成器中，表示生成器为每个样本生成特征表示；

步骤2：鉴别器在损失预测模块的指导下预测未标记样本的状态值；

步骤3：把未标记样本依据预测值的降序排列为[x₁,x₂,x₃,…]，然后把此序列输入到冗余去除模块进行样本选择，最终得到需要标记的样本组合，在每次迭代结束后，对任务模型和整个主动学习模型进行更新训练。

2.根据权利要求1所述的基于对抗网络的冗余去除主动学习方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：本发明设计了一种表示生成器，其以VAE为基础，编码器用于学习样本的特征表示，解码器用于重建样本。其编解码过程中的目标函数为：

其中是未标记样本的目标函数，是标记样本的目标函数，z是潜在变量，φ为参数化的解码器p_φ，θ为参数化的编码器q_θ。

步骤1.2：表示生成器通过重构标记和未标记样本来学习丰富的表示。最终，我们把编码器产生的特征表示与任务模型分类层之前的全连接层所输出的特征向量进行拼接，然后把拼接后的向量作为最终的图像表示。

3.根据权利要求1所述的基于对抗网络的冗余去除主动学习方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：本发明设计了损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：

其中ξ是预定义的正余量，l_i和l_j为实际损失，和为预测损失。例如，对于一对样本(x_i,x_j)，当l_il_j时，该函数表明只有当大于时，模块才没有损失，否则模块会有损失，迫使它增加并且减少目标模型和损失预测模块的联合损失函数为：

训练后的损失预测模块将对未标记样本的损失值进行预测。

步骤2.2：本发明中把损失预测模块的输出归一化到[0,1]，并把归一化后的数值作为未标记样本的状态值。判别器的目标函数为：

L_D＝-E[log(D(q_θ(z_L|x_L)))]-E[log(state(x_U)-D(q_θ(z_L|x_L)))]

其中state(x_U)表示未标记样本的状态值。表示生成器在与判别器的对抗学习过程中的目标函数为：

L_adv＝-E[log(D(q_θ(z_L|x_L)))]-E[log(D(q_θ(z_U|x_U)))]

表示生成器的总目标函数最终定义如下：

L_G＝λ₂L_VAE+λ₃L_adv

其中λ₂和λ₃为控制函数比例的超参数。

4.根据权利要求1所述的基于对抗网络的冗余去除主动学习方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：本发明把未标记样本依据预测值的降序排列为[x₁,x₂,x₃,…]，之后利用表示生成器学习到的特征表示计算样本之间的相似度，一对样本(x_i,x_j)之间的相似度定义为：

其中和分别表示x_i和x_j的特征向量的第i个分量。

步骤3.2：基于贪心算法进行冗余去除。算法中设置超参数D控制样本之间的特征距离，本发明依据[x₁,x₂,x₃,…]序列进行相似度度量，舍弃与已有样本相似度小于D的样本。

步骤3.3：在每次迭代结束后，对任务模型和整个主动学习模型进行更新训练。