[发明专利]一种基于可靠权重最优传输的图像分类方法

权利要求书

1.一种基于可靠权重最优传输的图像分类方法，其特征在于，该方法包括以下步骤：

(1)对源域数据进行预处理，使得深度神经网络拟合源域样本图像的样本标签；具体如下：

(1.1)将源域D^S中的样本图像输入到深度神经网络中，所述深度神经网络由特征提取器G_f和自适应判别器G_y构成；

(1.2)样本图像经过特征提取器G_f得到D^S中样本图像相应的样本特征；

(1.3)样本特征通过自适应判别器G_y计算得到有监督的样本标签；

(2)利用可靠权重最优传输和可靠性度量，聚合源域D^S和目标域D^t最匹配的图像，可以实现配对、标注和分析；

(2.1)图片标注；给目标域数据样本打上伪标签

(2.1.1)使用子空间可靠收缩方法，通过步骤(1)中的深度神经网络优化每一个样本的传输交叉熵损失，为源域和目标域建立空间原型(prototype)信息的度量方式。具体过程如下：

a.判别性空间原型探索：用于量化源域与目标域之间的原型信息(protypicalinformation)。其中原型信息指对于一个确定的分类c所找到的能表征该类特征的信息空间位置。对每个分类c定义了一个“类别中心”，记为C^s，C^s是一个源域空间上的样本点，该空间为C×d维实数域空间，其中C是源域中所有的图像类别总数，d是在深度神经网络中特征生成器G_f输出的特征层的维度。记录空间原型的矩阵D通过下式表示：

其中代表第i个的目标域的样本，代表第i个的源域的样本，代表在源域中第k个类别的原型，代表在目标域中第k个类别的原型。代表目标样本和源域中第k个类别中心的距离，k＝1,2,3...,C；其中分子部分的d函数表示了目标域样本图像经过特征生成器G_f变换后与当前第k类的样本中心的距离，分母部分将该样本距离C类别中各类别中心的距离进行求和，从而归一化不同类别的距离结果，使得训练过程更加稳定。

b.用于距离度量的函数d可以基于不同的距离定义，使用多种内核降低测试误差，从而实现一种用于最佳原型距离表示的方法。因此，多核公式如下：

且其中K的形式为半正定(PSD)核，具有以下形式：

K_u代表集合中的每一个核，K是所有多核在一起作用之后的总结果。u是一个遍历的参数并满足所有核函数的总权重是1。m为多个高斯核的个数，κ作为一个所有核函数的总集合，代表了多种用于空间距离度量的原型核函数的集合，其中每个核K_u的权重为对应的β_u，对参数{β_u}的范围限制是可以保证计算出的多核K是具有特征性质的。

c.将目标域图像利用特征提取器G_f和自适应判别器G_y的输出作为预测器伪标签。目标域不存在已知的标签，因此采用锐化(Sharpen)概率表征矩阵来表征伪标签的预测概率，为保证输出的矩阵是一个概率矩阵，使用了softmax函数进行了基于概率的归一化。锐化概率表征矩阵M定义如下：

M(i,k)代表了目标样本i属于目标类别k的概率，τ是需要预先设置的超参数，通过计算可以获得较高准确度的判别概率。

d.通过上述过程得到的子空间可靠性收缩SSR优化所需要的损失函数的所有信息，将SSR的损失矩阵Q定义如下：

其中Q(i,k)代表目标样本i属于类别k的概率值，d_A(k)表示源域为第k类和目标域中预测器伪标签为第k类的样本之间的A-距离(A-distance)。ε(h_k)是判别器h_k判别和的错误率。

(2.1.2)对于源域和目标域的图像，利用特征提取器G_f的输出计算类中心，基于该类中心(原型)，在目标域D^t上使用如步骤(2.1.1)子步骤b中核函数距离度量手段，将输入样本距离最近的原型C^s所对应的样本作为原型伪标签；

(2.1.3)将预测器伪标签和原型伪标签通过损失矩阵Q来统一，得到可信任伪标签；判别性质心损失函数L_p让源域中属于同一类的样本和目标域中属于同一类可信任伪标签的样本在特征空间中应尽可能接近，具体如下：

n代表每一轮训练的样本数量。λ代表超参数，根据实验调参确定，ν是约束余量，用于控制配对的不同样本类别原型之间的距离，需要提前给定。为源域中第i个样本图像对应的标签值，表示该标签值对应的原型，其中类中心的公式如下：

当时，否则

(2.2)节点配对；实现源域和目标域中的相关联的图片的配对

(2.2.1)通过最小化Z矩阵(即带权距离定义矩阵)与Kantorovich问题中的γ算子的弗罗比尼乌斯内积获得最优概率分布γ^*；具体如下：

其中，表示源域和目标域的联合概率分布，表示两个配对样本之间所带的权重，x^t表示目标域中的样本，x^s表示源域中的样本，y(x^s)源域中的样本标签，表示样本从源域至目标域的欧氏距离，在当前度量下，取得最优的匹配结果，亦即找到一对最符合最优的匹配结果的源域-目标域样本对。由于样本是离散可数的，因此上式的离散形式如下：

(2.2.2)维度越高则最优传输得到的结果的鲁棒性也随之下降。因此有必要在做最优传输的过程中施加一定的约束。此时利用损失矩阵Q来评估当前目标域的样本到底是哪个标签。当源域和目标域的匹配的时候，不仅仅考虑其特征空间的欧式距离，同时也考虑两者预测标签的一致性，这样给最优传输增强权重之后，得到更好更鲁棒的效果。实现最优传输的匹配策略，优化Z矩阵；所述Z矩阵的离散公式定义如下：

其中为最优传输的过程中的约束条件；通过Z矩阵计算最优传输则可以得到源域-目标域样本对。

(2.2.3)根据步骤(2.2.2)计算出距离损失L_g的值；

其中F₁为交叉熵损失函数。

(2.3)自动分析

实现对源域数据分布以及目标域数据分布的自动分析，评估迁移效果，挑选离群点，具体实施步骤如下：

(2.3.1)从已有数据库中导入源域数据样本与目标域数据样本至步骤(1)的深度神经网络中。

(2.3.2)计算源域数据样本每一类别的空间原型，通过空间原型给目标域数据样本按(2.1)所述方法打上原型伪标签。

(2.3.3)使源域数据样本与目标域数据样本通过特征生成器G_f产生相应特征分布，再通过自适应判别器G_y得到预测器伪标签。

(2.3.4)利用损失矩阵Q将原型伪标签和预测器伪标签统一得到可信任伪标签。

(2.3.5)根据已经配好的源域-目标域样本对两个之间的欧式距离计算源域-目标域样本对在最优传输中贡献度的大小并排序，欧式距离越小贡献度越大，根据预先设定的配对距离阈值挑选出配对距离阈值以上的点作为离群点并舍弃该源域-目标域样本对。

(3)将步骤(2.3.5)中保留下来的源域-目标域样本对输入到深度神经网络中进行图像的分类，具体如下：

(3.1)将损失L_P与L_G标准分类损失函数L_cls加权相加，最终得到需要优化的损失函数；具体如下；

其中α，β为超参数，用来在不同数据集下用来平衡L_p和L_g损失函数，以保证深度神经网络训练的稳定性。

标准分类损失函数如下：

(3.2)计算模型网络参数下两个对应样本得到的损失函数值，并通过反向传播方法根据计算得到的局部梯度向后依次对网络参数进行更新，优化网络；

(3.3)总损失函数的值下降到一根据需求精度设定的可接受阈值后，即可停止训练，通过训练得到的深度神经网络中的G_f及G_y输出样本图像的样本标签，根据样本标签对图像进行分类。