[发明专利]一种零样本目标检测模型及其建立方法

权利要求书

1.一种零样本目标检测模型的建立方法，用于图像识别，其特征在于，包括：

(1)根据可见类RoI视觉特征、高斯随机噪声以及可见类的语义嵌入向量，训练条件生成模型IoUGAN；其中，所述条件生成模型IoUGAN，用于获取用于训练零样本分类器的不可见类的视觉特征；

按照产生所述可见类RoI视觉特征的边界框与对应标注框IoU大小，将所述可见类RoI视觉特征分为可见类类别视觉特征、可见类前景视觉特征和可见类背景视觉特征；

所述条件生成模型IoUGAN包括类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU；其中，类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU分别用于根据输入的不可见类的语义嵌入向量，生成不可见类类别视觉特征、前景视觉特征和背景视觉特征，每个单元都包含一个生成器和一个判别器，并使用WGAN作为基本结构；

在训练条件生成模型IoUGAN的阶段，所述可见类类别视觉特征作为所述类别特征生成单元CFU的输入；所述可见类前景视觉特征作为所述前景特征生成单元FFU的输入；所述可见类背景视觉特征作为所述背景特征生成单元BFU的输入；

(2)将不可见类的语义嵌入向量输入条件生成模型IoUGAN，获取不可见类的视觉特征；

(3)用不可见类的视觉特征训练零样本分类器；

(4)将零样本分类器与特征提取器、框回归器结合，建立零样本目标检测模型。

2.根据权利要求1所述的建立方法，其特征在于，所述高斯随机噪声包括第一高斯随机噪声、第二高斯随机噪声和第三高斯随机噪声，所述步骤(1)具体包括：

(1.1)从可见类训练样本中提取各类别对应的所述可见类类别视觉特征、所述可见类前景视觉特征和所述可见类背景视觉特征；

(1.2)利用可见类的语义嵌入向量、第一高斯随机噪声、所述可见类类别视觉特征训练类别特征生成单元CFU；

(1.3)采用训练的类别特征生成单元CFU生成的特征向量、第二高斯随机噪声和可见类前景视觉特征训练前景特征生成单元FFU；且采用训练的类别特征生成单元CFU生成的特征向量、第三高斯随机噪声、可见类背景视觉特征训练背景特征生成单元BFU。

3.根据权利要求2所述的建立方法，其特征在于，判断类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU是否训练完成的方法为：

判断类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU各自对应的损失函数是否收敛，若收敛，则训练完成。

4.一种零样本目标检测模型，用于图像识别，其特征在于，包括：特征提取器、框回归器和零样本分类器；

所述特征提取器用于从不可见类测试样本中提取RoI视觉特征；所述框回归器用于输入不可见类RoI视觉特征，获取对应的目标边界框；所述零样本分类器用于根据接收的不可见RoI视觉特征，识别目标的类别；

其中，所述特征提取器和框回归器通过可见类RoI视觉特征训练获取；

所述零样本分类器是通过条件生成模型IoUGAN生成的不可见类视觉特征训练获取的；

所述条件生成模型IoUGAN接收不可见的语义嵌入向量，获取用于训练零样本分类器的不可见类的视觉特征；

所述条件生成模型IoUGAN是通过可见类RoI视觉特征、高斯随机噪声以及可见类的语义嵌入向量训练获取的；

按照产生所述可见类RoI视觉特征的边界框与对应标注框的IoU大小，将可见类RoI视觉特征分为可见类类别视觉特征、可见类前景视觉特征和可见类背景视觉特征；

所述条件生成模型IoUGAN包括类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU；其中，类别特征生成单元CFU、前景特征生成单元FFU和背景特征生成单元BFU分别用于根据输入的不可见类的语义嵌入向量，生成不可见类类别视觉特征、前景视觉特征和背景视觉特征，每个单元都包含一个生成器和一个判别器，并使用WGAN作为基本结构；

在训练条件生成模型IoUGAN的阶段，所述可见类类别视觉特征作为所述类别特征生成单元CFU的输入；所述可见类前景视觉特征作为所述前景特征生成单元FFU的输入；所述可见类背景视觉特征作为所述背景特征生成单元BFU的输入。