[发明专利]基于深度嵌入空间的零样本学习方法

说明书

本发明公开了一种基于深度嵌入空间的零样本学习方法，用于解决现有零样本学习方法泛化能力差的技术问题。技术方案是通过深度学习技术来学习一个有效地深度中介嵌入空间，通过所训练好的深度网络同时将已知类别与未知类别的语义类别描述和图像信息描述映射到该深度中介嵌入空间中，最后通过相应的分类器对嵌入空间中的特征进行分类以获得对应的预测标签。在预测过程中，采用了映射网络自学习算法，有效地提升了泛化能力，即提高了对未知类别样本的分类准确率。

技术领域

本发明涉及一种零样本学习方法，特别是涉及一种基于深度嵌入空间的零样本学习方法。

背景技术

近年来，深度神经网络已经在目标识别、检测等众多计算机视觉应用中取得了显著的成效。其成功的关键在于，基于大量带有标记的学习样例，利用有监督学习方法，充分发挥深度神经网络极强的非线性拟合能力来挖掘任务输入、输出之间存在的复杂结构关系。然而，在实际应用中，由于人工标记学习样例需要较高的成本，尤其在相对复杂的任务中，例如语义分割等，因而往往很难获得充足的、带有标记的学习样例，甚至在很多应用中，无法获得任何的带有标记的学习样例，(例如，对于新出现的物质，或者未知的环境等)，从而严重影响了深度神经网络的泛化能力。

文献“Y.Annadani and S.Biswas.Preserving semantic relations for zero-shot learning.In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,pages 7603–7612,2018.”所提出的基于零样本学习的方法即可有效的解决上述问题。不同于传统的监督学习，在零样本学习中，每一个类别关联一个特定的语义描述，学习的目的在于通过挖掘类别中的样本和其对应的语义描述间的联系，实现对未知类别(没有任何带标记的训练样本)的样本进行准确的分类、识别。零样本学习的关键在于学习一个有效的嵌入空间，能够准确建立类别与其对应的语义描述间的结构关系，并泛化到未知类别和其关联的语义描述。然而，现有的零样本学习模型，未能充分考虑嵌入空间中的结构特性，因而通常受到hubness和bias towards seen classes问题的影响，泛化能力受限。

发明内容

为了克服现有零样本学习方法泛化能力差的不足，本发明提供一种基于深度嵌入空间的零样本学习方法。该方法通过深度学习技术来学习一个有效地深度中介嵌入空间，通过所训练好的深度网络同时将已知类别与未知类别的语义类别描述和图像信息描述映射到该深度中介嵌入空间中，最后通过相应的分类器对嵌入空间中的特征进行分类以获得对应的预测标签。在预测过程中，采用了映射网络自学习算法，有效地提升了泛化能力，即提高了对未知类别样本的分类准确率。

本发明解决其技术问题所采用的技术方案是：一种基于深度嵌入空间的零样本学习方法，其特点是包括以下步骤：

步骤一、将具有N个样本的训练集表示为其中表示第i个图像样本长度为b，对应类别标签为/而/则表示的是所有已知类别的标签集合。在测试过程中，零样本学习的目标在于预测新样本x_j所属的类别标签/表示的是所有未知类别的标签集合，并且/关于每一个已知类别/或者未知类别/都有一个相应的语义描述/或者/

步骤二、建立一个两分支的深度嵌入网络，其中一支为图像映射分支，该分支网络是经过预处理的深度卷积网络，其输入为所提取的图像特征x_i，之后，通过一个多层感知机来学习图像特征x_i嵌入到隐式空间的映射过程。该两分支网络的另一个分支为语义类别映射分支，该分支同样也是通过一个多层感知机/将语义描述信息/映射到同样的隐式嵌入空间中。该两分支网络的损失函数被定义为如下形式，