[发明专利]融合图像及其文本描述的零-小样本机器学习方法及系统

权利要求书

1.一种融合图像及其文本描述的零-小样本机器学习方法，其特征在于，包括：

1）对支持集D_t^support中的每个图像样本及其类别文本描述向量(I_i^t ,u_i^t)：基于训练好的图像卷积编码器计算图像样本I_i^t的图像特征向量x_i^t =Φ (I_i^t; θ*_CNN)，其中θ*_CNN为训练好的图像卷积编码器参数；基于训练好的文本映射编码器计算类别文本描述向量u_i^t的映射特征向量s_i^t=Ψ(u_i^t; θ*_Mapping)，其中θ*_Mapping为训练好的文本映射编码器的参数；所述图像卷积编码器为卷积神经网络编码器，所述卷积神经网络编码器包括依次连接的4个卷积层，每个卷积层为64通道，采用3*3卷积核，批正则化以及ReLU非线性操作，在前两层卷积层后采用2*2最大池化对特征图进行降采样；所述文本映射编码器为全连接神经网络模型，所述全连接神经网络模型包括输入层、隐含层和输出层，隐含层采用ReLU作为非线性操作，同时维度设置为与图像卷积编码器的输出维度相同，输出层维度与图像特征向量维度保持一致；且所述全连接神经网络模型在训练过程中采用剪枝操作，在测试阶段，对待识别样本预测过程中，计算所有全连接参数；

2）对于支持集D_t^support中第k类图像特征向量x_k,1, x _k,2, …, x _k,N，取其均值作为该类别图像特征中心点x_k；基于该类别图像特征中心点x_k及该类别的映射特征向量s_k计算该类别特征表征向量v_k，其中k=1,2,…,M，M为支持集D_t^support的类别总数，N为支持集D_t^support中每个类别的样本数量；

3）对于测试集D_t^query中的待识别样本I^query，首先基于训练好的图像卷积编码器计算其图像特征向量x^query =Φ (I^query;θ*_CNN)；然后基于训练好的关系度量网络计算图像特征向量x^query与支持样本集中每一类别特征表征向量v_k的相似度Re(x^query,v_k) =φ(x^query, v_k;θ*_Relation)，其中θ*_Relation为训练好的关系度量网络的参数，其中k=1,2,…,M；所述关系度量网络包含2层卷积层和2层全连接层，用于将支持样本和待测试样本的两个样本中心点特征向量连接，之后依次通过2层卷积层和2层全连接层，最终输出两个中心点特征向量的相似度，且其中卷积层设置为64通道，3*3卷积核，卷积操作之后进行批正则化、ReLU非线性操作以及2*2最大池化降维操作；

4）在支持集D_t^support的M个类别中，选取相似度Re(x^query,v_k)最大的类作为待识别样本的预测类别标签y^query。