[发明专利]一种基于张量化高阶互注意力机制的多源域适应方法

权利要求书

1.一种基于张量化高阶互注意力机制的多源域适应方法，其特征在于包括以下步骤：

步骤1、获取带标签的多源域数据和不带标签的目标域数据，并将带标签的多源域数据作为第一训练集；其中多源域包含N个源域，N≥2；

步骤2、由于每个源域拥有一个特征提取器，故利用第一训练集各源域数据训练各自的特征提取器；

所述的特征提取器包括初级特征提取器、深层特征提取器；

步骤3、由于目标域映射对应N个源域，故目标域拥有每个源域的特征提取器，共N个；然后利用训练好的所有源域特征提取器以不带标签的目标域数据作为输入，得到目标域在各源域空间的深层特征；

步骤4、提取多源域数据的特定域空间特征

4-1获取所有源域特征提取器输出的各源域空间深层特征

1)所有源域特征提取器输出的各源域空间深层特征I_n,J_n分别表示第n个源域空间深层特征矩阵的两个维度大小，n∈[1，N]；

4-2获取不同源域空间深层特征之间的交互关系

1)根据公式(1)将各源域空间深层特征与高阶交互张量的不同维度进行模乘，得到一个高阶互注意张量

其中×_n表示第n维上的模乘，n∈[1，N]；

所述高阶互注意张量中的每个元素可以表示为：

其中表示高阶交互张量的一个元素，表示第n个源域空间深层特征A⁽ⁿ⁾的元素，n∈[1，N]，i_n∈[1，I_n]，j_n∈[1，J_n]；

2)通过对的不同维度进行平均池化操作，得到不同源域空间的互注意向量b；其中第n个源域空间的互注意向量的第p个元素如下：

其中n∈[1，N]，I_n表示互注意向量b⁽ⁿ⁾的大小；

由公式(3)得：

其中，

其中表示第k个源域空间的深层特征和第k个核张量按第二个维度模乘结果；表示第二维度上第i_k个矩阵，表示第n个源域对应模乘结果的第二维度上第p个矩阵；

3)注意机制是一个概率模型，因此采用Softmax(·)得到b⁽ⁿ⁾的归一化概率如下:

b⁽ⁿ⁾＝Softmax(b⁽ⁿ⁾) 公式(8)

4-3考虑归一化后各源域空间的深层特征之间的交互关系b⁽ⁿ⁾，对各源域深层特征进一步提取每个源域空间的特定域空间特征：

步骤5、提取目标域数据的特定域空间特征

获取目标域的所有源域特征提取器输出的目标域在各源域空间的深层特征；重复步骤4-2至4-3，最获取目标域数据的特定域空间特征；

步骤6、目标域与多源域数据对齐

采用MMD方法以度量目标域数据与每个源域数据在同一域空间的特定域空间特征分布距离，通过神经网络反向传播损失值约束特征分布的距离，以实现目标域与多源域数据对齐；

步骤7、将对齐处理后多源域数据的特定域空间特征作为第二训练集，并对其进行步骤(1)对应源域数据的标签标注；

步骤8、构建一组对应不同源域的分类器，并利用第二训练集进行训练；然后利用对齐处理后目标域数据的特定域空间特征对训练好的分类器进行测试，分类器输出N个预测结果，取平均作为目标域最终预测结果。

2.根据权利要求1所述的一种基于张量化高阶互注意力机制的多源域适应方法，其特征在于步骤2中，所述的初级特征提取器采用共享子网络ResNet-50，以多源域数据作为输入，多源域初级特征作为输出。

3.根据权利要求1或2所述的一种基于张量化高阶互注意力机制的多源域适应方法，其特征在于步骤2中，所述的深层特征提取器采用一组包含三层卷积的特定子网络(即由三层串联的卷积层构成)，以初级特征提取器输出的各源域初级特征作为深层特征提取器中对应子网络的输入，各源域空间深层特征作为输出。