[发明专利]一种基于协方差度量的小样本学习算法

权利要求书

1.一种基于协方差度量的小样本学习算法，具体包括如下步骤：

步骤(1)：对实验采用的数据集进行划分，得到训练集、验证集和测试集；

步骤(2)：对数据集中图片进行缩放，保证分辨率达到预期值；

步骤(3)：在数据集上构建分类任务，采样插曲训练机制，在训练阶段和测试阶段分别随机构建插曲；

步骤(4)：将局部协方差表示嵌入到深度网络中来学习每个概念的特征表示，并为查询图像抽取深度局部描述子特征；

步骤(5)：在局部协方差表示的基础上，使用协方差度量层计算查询图像和每个类别之间的分布一致性；

步骤(6)：基于所述局部协方差表示和协方差度量层，将这两个模块融合到一个框架中，进行端到端训练。

2.根据权利要求1所述一种基于协方差度量的小样本学习算法，其特征在于：所述步骤(1)的数据集划分过程中，涉及的数据集共有5个，分别是2个小样本图像分类数据集miniImageNet和tieredImageNet，3个细粒度基准数据集Standford Dogs，StandfordCars，CUB Birds；

接着对每个数据集进行划分，以miniImageNet和Standford Dogs为例，将miniImageNet数据集的100个类其中64个类用作训练集，16个类用作验证集，20个类用作测试集；

将Standford Dogs数据集中120个类其中70个类用作训练集，20个类用作验证集，30个类用作测试集。

3.根据权利要求1所述一种基于协方差度量的小样本学习算法，其特征在于：所述步骤(3)的插曲构建过程中，在训练阶段，构建的每一个插曲都包含一个支持集和一个查询集；5-way 1-shot分类任务，其中5个类别每个类被包含1个支持图片和15个查询图片；5-way5-shot分类任务，其中5个类别每个类包含5张支持图片和15张查询图片，在训练阶段和测试阶段构建的插曲数量不同。

4.根据权利要求1所述一种基于协方差度量的小样本学习算法，其特征在于：所述步骤(4)的局部协方差表示，与其他任务中广泛使用的协方差矩阵不同点在于，首先定义基于样本的协方差矩阵计算过程如公式(1)所示，采用更加丰富的深度局部描述子特征代替全局特征来表征每张图片，将某一类别中所有图片的局部描述子一起计算得到该类别的局部协方差表示其计算过程如公式(2)所示：

其中，代表K个样本的均值，代表由均值向量构成的矩阵。

5.根据权利要求1所述一种基于协方差度量的小样本学习算法，其特征在于：所述步骤(5)的协方差度量层，将用来度量样本和类别之间的一致性关系；采用深度局部描述子来表示查询集中的图片通过协方差度量公式来计算样本和类别的关系，其中代表查询样本，代表特定类别的协方差矩阵表示，计算X和之间的局部协方差度量，计算过程如公式(3)所示：

其中，包含查询图片和特定类别之间M个局部相似度值，diag(·)代表矩阵主对角线上元素构成的列向量。

6.根据权利要求1所述一种基于协方差度量的小样本学习算法，其特征在于：所述步骤(6)的框架中包含两个关键模块：卷积嵌入模块和协方差度量模块，

卷积嵌入模块包含四个卷积块，其中每个卷积块由一个卷积层、一个批量归一化层和一个带泄露的线性整流层构成；在前两个卷积块后分别添加一个2×2最大池化层，先将查询图片与C个类别计算得到所有局部相似度值串联起来，然后采用步长为M的一维卷积实现此映射操作，最后使用softmax和交叉熵损失函数来计算最终分类结果。