[发明专利]基于主动学习和变分自编码器的广义零样本目标分类方法

权利要求书

1.一种基于主动学习和变分自编码器的广义零样本目标分类方法，其特征在于，包括如下步骤：

(1)获取训练样本集P_train和测试样本集P_test：

将从零样本图像集O中获取的包含n_s个已知目标类别的n₁幅图像以及每幅已知类别图像的目标类别标签组成的已知类训练样本集P_train^s，和从O中获取的包含n_u个未知目标类别的n₂幅图像组成未知类训练样本集P_train^u，组成训练样本集P_train，同时将从O中获取的包含n_u个未知目标类别的m幅图像组成测试样本集P_test，其中，n_s≥10，n₁≥1000，n_u≥10，n₂≥1000，m≥1000，且n₁+n₂＞m；

(2)构建基于变分自编码器的广义零样本分类模型H：

(2a)构建基于变分自编码器的广义零样本分类模型H的结构：

构建包括变分自编码器f和非线性分类器f_classifier的广义零样本分类模型的结构，其中变分自编码器由并行连接的第一变分自编码器VAE和第二变分自编编码器CVAE组成，VAE由顺次连接的第一编码器f¹_encoder和第一解码器f¹_decoder组成，CVAE由顺次连接的第二编码器f²_encoder和第二解码器f²_decoder组成，非线性分类器f_classifier的输入与第一编码器f¹_encoder的输出相连；

(2b)定义广义零样本分类模型H的损失函数：

定义广义零样本分类模型H中变分自编码器f的损失函数为L，非线性分类器f_classifier的损失函数L_Classifier：

L＝L_VAE+L_CVAE+λL_DA

其中，L_VAE表示第一变分自编码器VAE的损失函数，L_CVAE表示第二变分自编编码器CVAE的损失函数，λ表示权重系数，λ∈(0,1)，L_DA表示VAE和CVAE的对齐损失函数，μ₁和μ₂分别表示VAE和CVAE输出的隐含分布的均值，σ₁²和σ₂²分别表示VAE和CVAE输出的方差，||·||₂表示向量二范数，||·||_Frob表示矩阵的Frobenius范数，L_Classifier表示非线性分类器f_classifier的损失函数，KL(·)为概率分布间的Kullback-Leibler散度，N(μ₁,σ₁²)表示均值为μ₁方差为σ₁²的正态分布，N(μ₂,σ₂²)表示均值为μ₂方差为σ₂²的正态分布，和分别表示VAE和CVAE的重建损失函数，x_i表示第i个已知类图像特征，和分别表示VAE和CVAE对x_i的重建结果，Σ表示求和操作，y_j表示训练样本集P_train中第j类样本的标签，p_j表示x_i被分类为y_j的概率；

(3)对基于变分自编码器的广义零样本分类模型H中的变分自编码器f和非线性分类器f_classifier进行迭代训练：

(3a)将训练样本集P_train作为残差网络模型的输入进行特征提取，得到已知类训练样本集P_train^s对应的图像特征集和未知类训练样本集P_train^u对应的图像特征集

(3b)初始化迭代次数为q，最大迭代次数为Q，Q≥30，并令q＝1；

(3c)将图像特征集P'_train^s作为广义零样本分类模型H的输入，变分自编码器f中的第一变分自编码器VAE所包含的第一编码器f¹_encoder对每个已知类图像特征x_i进行编码，得到隐含分布的均值和方差非线性分类器f_classifier对进行分类，得到已知类图像特征x_i所属各类的概率CVAE所包含的第二编码器f²_encoder对每个已知类图像特征x_i和特征标签y_i进行编码，得到隐含分布的均值和方差

(3d)第一解码器f¹_decoder对隐含变量进行解码，得到第一图像重建特征同时第二解码器f²_decoder对隐含变量进行解码，得到第二图像重建特征其中，z₁和z₂表示从随机高斯分布z～N(0,1)中采样得到的高斯噪声；

(3e)采用变分自编码器f的损失函数为L，并通过第一编码器f¹_encoder编码的和第二编码器f²_encoder编码的和以及第一解码器f¹_decoder解码的和第二解码器f²_decoder解码的计算变分自编码器的损失值L^*，同时采用非线性分类器f_classifier的损失函数L_Classifier，并通过非线性分类器f_classifier的分类结果计算非线性分类器的损失值(3f)采用反向传播法，并通过L^*计算L的梯度同时通过计算L_Classifier的梯度然后采用梯度下降法，通过和分别对变分自编码器f和非线性分类器f_classifier的权值参数进行更新；

(3g)将图像样本特征集P'_train^u作为第一变分自编码器VAE的输入，第一编码器f¹_encoder对每个未知类图像特征u_j进行编码，采用非线性分类器f_classifier对编码结果进行分类，得到u_j所属各类的概率

(3h)通过中概率的最大值和次大值计算的不确定性并将u_i、和组合为三元组集合的计算公式为：

(3i)对三元组集合S₁进行聚类，并对聚类获取的n_u个类别中的三元组中的不确定性按照由小到大的顺序进行排列，然后选取每个类别对应的不确定性集合中前n_add个未知类图像特征u_j，组成待标注样本集S₂，其中n_add＞0；

(3j)对S₂中的未知类图像特征u_j添加标注信息后加入P'_train^s中，同时从P'_train^u中删除S₂中的u_j，并判断q＞Q是否成立，若是，得到训练好的广义零样本分类模型H^*，否则，令q＝q+1，并执行步骤(3c)；

(4)获取广义零样本的目标分类结果：

(4a)将测试样本集P_test作为残差网络模型的输入进行特征提取，得到未知类测试样本集P_test的图像特征集P'_test＝{t₁,…,t_k,…,t_m}，其中t_k为P'_test中第k个样本，m为P'_test中的样本个数；

(4b)将P'_test作为训练好的广义零样本分类模型H^*的输入，第一编码器f¹_encoder对每个未知类图像特征t_k进行编码，得到隐含分布的均值非线性分类器f_classifier对进行分类，得到m个测试样本的分类结果。