[发明专利]基于自注意力机制和最小二乘的条件对抗领域自适应方法

权利要求书

1.基于自注意力机制和最小二乘的条件对抗领域自适应方法，其特征在于：该方法包括如下；通过自注意力机制的特征提取网络和最小二乘的条件形成对抗领域自适应损失函数。

2.根据权利要求1所述的基于自注意力机制和最小二乘的条件对抗领域自适应方法，其特征在于：所述自注意力机制引入到特征提取网络中，根据非局部神经网络的思想，定义自注意力机制层表示形式如式(1)所示：

式中，x表示Resnet-50网络层的输入图像特征矩阵；x_i表示特征矩阵中的第i个元素；x_j表示特征矩阵中的第j个元素；N表示所有特征矩阵元素数量之和；

通过式(1)看出γ_i,j与x_i、x_j都有着直接关系，所以任何一对特征矩阵中的元素输入到自注意力机制层均会直接影响到该层的输出；γ_i,j表示特征矩阵中元素x_i和x_j之间的关联性指标；由于自注意力模块是非局部嵌入高斯模型的一种特殊形式，则式(1)中f(x_i,x_j)表示为:

其中θ(x_i)和φ(x_j)具体表达方式如式(3)和(4)所示：

θ(x_i)＝W_θ*x_i (3)

式中，W_θ、均表示卷积操作，其中卷积核为1x1且信道尺寸为输入信道的1/8；θ(x_i)、均表示卷积网络组成的特征空间，其作用是减少每个卷积核的通道数量和参数，进而降低算法运算复杂度；

因此，根据式(2)—(4)，将式(1)改写为：

由于γ_i,j为特征矩阵中元素x_i和x_j之间的关联性指标，再根据式(5)，则自注意力机制层的输出表达式为：

式中，h(x_j)表示输入图片在j位置处的特征值，其具体表达方式如式(7)所示：

h(x_j)＝W_hx_j (7)

此外式(3)、(4)和(7)卷积操作中的W_θ、W_h都有着相同的卷积核大小和信道尺寸；

最后将自注意力机制层的输出o和输入特征x组成线性网络，得到输出特征：

y_i＝W_oo_i+x_i (8)

式中，W_o表示卷积操作，卷积核为1×1，其信道尺寸为W_h、W_θ、的8倍，目的是为了能够还原原始图片信道数目。

3.根据权利要求2所述的基于自注意力机制和最小二乘的条件对抗领域自适应方法，其特征在于：所述最小二乘的损失函数网络结构主要由三部分组成，每部分的具体表达形式如式(9)-(11)所示：

式中，a、b分别表示源域标签和目标域标签；H()表示标准熵；ω(x)表示熵感知权重，表达形式为ω(x)＝1+e^-x；c表示先验参数，用于设定域判别器D认为提取特征来自源域的值；表示源域数据；表示源域数据的标签；G()表示类别分类器；表示特征提取器；D()表示域判别器；f_i^s表示利用特征提取器获取的源域数据特征；表示利用特征提取器获取的目标域特征；表示利用源域分类器获取的预测标签；表示利用类别分类器G()预测的目标域类别；ε(G)、γ(D)和分别表示用来衡量类别分类器、域判别器和特征提取器优劣程度的损失函数；

根据式(9)—(11)，应用到条件对抗领域自适应方法中的最小二乘损失函数表示为：

式中λ的含义表示分类损失和迁移损失之间的权衡参数。