[发明专利]基于正则化的解决对抗残差变换网络梯度消失问题的方法

权利要求书

1.一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，包括以下步骤：

步骤S1：特征提取器提取源域的源数据和目标域的目标数据的特征分布；

步骤S2：转换网络将所述源数据的特征分布映射到所述目标域，生成伪造目标数据；

步骤S3：所述伪造目标数据通过训练建立标签分类器，通过所述标签分类器预测目标数据的标签值；

步骤S4：域分类器对比所述伪造目标数据与目标数据，并将对比结果反馈给所述特征提取器，特征提取器根据对比结果对特征分布的提取过程进行改进，所述转换网络优化源数据到目标域的映射方式；

步骤S5：循环执行步骤S1-S4，直至域分类器不能准确分辨伪造目标数据与目标数据，即对抗残差变换网络模型的损失函数的值收敛，所述转换网络的映射方式使源域和目标域之间达到域适应状态，其特征在于，所述损失函数设有正则化项，所述正则化项的公式如下：

其中，r(G(x^s),T(G(x^s)))为正则化项，G为特征提取器函数，T为转换网络函数，x^s为源域的源数据，·代表内积运算，||代表L2范式。

2.根据权利要求1所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述损失函数的具体公式如下所示：

其中，β表示正则化项的系数参数，表示源域第i个样本的域标签，表示目标域第i个样本的真实域标签，L_c、L_t、L_s分别表示标签分类器的损失、目标数据在域分类器的损失和源数据在域分类器的损失，θ_d、θ_g、θ_c、θ_t分别为域分类器、特征提取器、标签分类器及转换网络的设定参数，n_s为源域中样本数量，D_s表示源域，D_t表示目标域，x_i表示对应域中第i个样本实例，y_i表示源域中样本实例对应的标签类别，D表示域分类器函数，C表示标签分类器函数，L为目标域的目标函数。

3.根据权利要求2所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述域分类器、特征提取器、标签分类器及转换网络的设定参数对应源域和目标域之间达到域适应状态时的最优值分别为：

其中，为域分类器设定参数的最优值，为特征提取器设定参数的最优值，为标签分类器设定参数的最优值，为转换网络设定参数的最优值，r为正则化项对应的正则化函数。

4.根据权利要求2所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述特征提取器和转换网络对应的目标函数更新为：

其中，为特征提取器和转换网络对应的目标函数，D*为最优域分类器，JSD为Jensne-Shannon散度，P_s为源域的源分布，P_t为目标域的目标分布。

5.根据权利要求4所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述特征提取器和转换网络对应的目标函数中r(θ_g,θ_t)相应变量的微分值和均不为零。

6.根据权利要求1所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述步骤S1的特征提取器为权重共享特征提取器。

7.根据权利要求1所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述特征提取器与转换网络设有剩余连接，所述剩余连接从源域中捕获源数据的语义信息。

8.根据权利要求1所述的一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，其特征在于，所述步骤S5中，域分类器和特征提取器通过设置梯度反转层来进行参数优化。