[发明专利]一种基于图像组合特征表述的少样本学习方法及系统

权利要求书

1.一种基于图像组合特征表述的少样本学习方法，其特征在于，包括以下步骤：

s1:输入训练的图像，图像包括物体类别以及物体属性；

s2:用深度神经网络提取图像深度表述特征；

s3: 用感知机模型提取物体不同属性所对应的特征编码，所述感知机模型为包含隐藏层的全连接层网络结构，它接收k维的物体属性向量作为输入，输出m维的属性特征编码向量，其中，训练所使用的图片，共包含k种不同的属性；

s4: 对步骤s2中提取的图像深度表述特征进行分块，包括：左上、左下、右上、右下和中间共五块，每块特征分别对应于其所在位置处的图像深度表述特征，对图像深度表述特征进行分块，采用对称均分的策略，设定图像深度表述特征尺寸大小为：，其中分别为特征宽度、高度和通道数，对特征进行分块得到的左上、左下、右上、右下和中间五块特征对应的起止位置如式（1）所示：

      （1），

s5: 比较步骤s4所提取的各个分块的图像深度表述特征与步骤s3所提取的不同属性所对应的特征编码的相似性，把各个块的相似性的累加和作为整幅图像深度表述特征与图像属性特征编码之间相似性的度量；以及

s6: 对图像进行分类，判定图像所包含的物体的类别。

2.根据权利要求1所述的少样本学习方法，其特征在于，在步骤s1中，所述物体属性是指视觉特性或者抽象概念。

3.根据权利要求1所述的少样本学习方法，其特征在于，在步骤s5中，使用余弦相似性度量函数来比较分块图像深度表述特征与图像属性特征编码之间的相似性，第i个图像分块与图像属性特征编码之间的相似性计算如（2）所示：

    （2），

其中，表示第i个分块图像深度表述特征，表示第d个属性的特征编码，D为图像属性的集合，card（D）=k，表示集合所包含元素的个数，代表余弦相似性度量函数，如式（3）所示：

       （3），

其中，X和Y分别为两个特征向量， 表示两个向量之间的点乘运算。

4.根据权利要求1所述的少样本学习方法，其特征在于，在步骤s5中，通过累加分块图像深度表述特征与属性特征编码之间的相似性得到整幅图像深度表述特征与图像属性特征编码之间的相似性，如式（4）所示：

     （4），

其中，i表示第i个图像深度表述特征分块，共有5块，分别对应上文提到的左上、左下、右上、右下和中间各个分块。

5.根据权利要求1所述的少样本学习方法，其特征在于，所述方法在训练过程中的损失函数由两部分组成，一部分是步骤s5中图像深度表述特征与属性编码特征之间的相似性损失，另一部分是步骤s6中图像类别分类损失，整体损失函数如式（7）所示：

     （7），

其中：为步骤S6产生的类别分类损失，为步骤s5产生的相似性损失，为调和系数，取为0.5。