[发明专利]基于深度嵌入空间的零样本学习方法

摘要

本发明公开了一种基于深度嵌入空间的零样本学习方法，用于解决现有零样本学习方法泛化能力差的技术问题。技术方案是通过深度学习技术来学习一个有效地深度中介嵌入空间，通过所训练好的深度网络同时将已知类别与未知类别的语义类别描述和图像信息描述映射到该深度中介嵌入空间中，最后通过相应的分类器对嵌入空间中的特征进行分类以获得对应的预测标签。在预测过程中，采用了映射网络自学习算法，有效地提升了泛化能力，即提高了对未知类别样本的分类准确率。

主权项

1.一种基于深度嵌入空间的零样本学习方法，其特征在于包括以下步骤：/n步骤一、将具有N个样本的训练集表示为其中表示第i个图像样本长度为b，对应类别标签为而则表示的是所有已知类别的标签集合；在测试过程中，零样本学习的目标在于预测新样本x_j所属的类别标签表示的是所有未知类别的标签集合，并且关于每一个已知类别或者未知类别都有一个相应的语义描述或者/n步骤二、建立一个两分支的深度嵌入网络，其中一支为图像映射分支，该分支网络是经过预处理的深度卷积网络，其输入为所提取的图像特征x_i，之后，通过一个多层感知机来学习图像特征x_i嵌入到隐式空间的映射过程；该两分支网络的另一个分支为语义类别映射分支，该分支同样也是通过一个多层感知机将语义描述信息映射到同样的隐式嵌入空间中；该两分支网络的损失函数被定义为如下形式，/n /n其中，θ_v和θ_s表示的是两分支网络中所涉及到的多层感知机的参数，而W则是指将要学习到的线性分类器的参数，另外则指的是分类损失，在这里选择交叉熵函数作为计算分类损失的方法；为了避免过拟合，采用了l₂范数来限制所有的参数并由η加权约束；通过反向传播算法对上述损失函数进行优化求解，从而获得相应的网络参数θ_v和θ_s；在获得参数θ_v和θ_s之后，测试样本的预测标签表示为，/n /n其中，z表示为标签y的语义描述信息；/n步骤三、给定测试样本，首先根据步骤二学习到的嵌入空间来预测出该测试样本集的伪标签，之后，根据生成的伪标签和图像-语义差异，即选择出测试样本集中与该伪标签最为接近的M个测试样本，其中M＝40，并手工将选择出的样本和赋予其的伪标签作为新的训练数据合并到训练集中，得到扩充的训练集/n步骤四、在获得了训练好的映射网络和分类器之后，为了避免所学得的深度嵌入空间产生未知样本的预测标签向已知样本标签偏倚的现象，采用自适应调节模型来解决该问题；新的优化目标函数表示为：/n /n其中，C表示未知类别数，表示第i个被选中的测试样本，和则分别表示扩充训练集中相应的伪标签和所属类别的语义描述。/n