[发明专利]基于正则化的解决对抗残差变换网络梯度消失问题的方法

说明书

本发明涉及一种基于对抗残差变换网络的无监督领域自适应方法，包括以下步骤：步骤S1：特征提取器提取源域的源数据和目标域的目标数据的特征分布；步骤S2：转换网络将源数据的特征分布映射到目标域，生成伪造目标数据；步骤S3：伪造目标数据通过训练建立标签分类器，通过标签分类器预测目标数据的标签值；步骤S4：域分类器对比伪造目标数据与目标数据，将结果反馈给特征提取器，特征提取器根据结果对提取过程进行改进，转换网络优化源数据到目标域的映射；步骤S5：循环执行步骤S1‑S4，直至对抗残差变换网络模型的损失函数的值收敛，损失函数中设有正则化项。与现有技术相比，本发明具有减少梯度消失对模型参数优化的影响、提高模型的稳定性等优点。

技术领域

本发明涉及计算机机器学习领域，尤其是涉及一种基于正则化的解决对抗残差变换网络梯度消失问题的方法。

背景技术

大规模标记数据集训练的深度神经网络在不同的任务中实现出色的性能，然而由于特征分布的可传递性会随着基础任务和目标任务之间的距离的增加而降低，因此引入域适应(DA)来解决这个问题，可以利用在一个特定领域所学的知识，有效地提高相关但不同领域的性能。DA的早期方法旨在学习域不变特征，通过共同最小化距离来表示数据，衡量一对源域和目标域之间适应性的指标，近年来，生成对抗网络(GANS)的概念广泛应用，与DA相结合的运用也日渐成熟。但是在对抗领域自适应的过程中经常出现梯度消失现象，导致模型参数得不到充分的优化。

申请号为2019112822531的中国专利公开了一种基于对抗残差变换网络的无监督领域自适应方法，通过增设转换网络，特征提取器与转换网络之间的剩余连接的共享特性来简化模型对分布映射的学习，但是在特征提取器与域分类器对抗自适应的过程中可能存在梯度消失的问题，对模型的参数优化有较大影响。

发明内容

本发明的目的就是为了克服上述现有技术存在的梯度消失对模型参数优化的影响较大的缺陷而提供一种基于正则化的解决对抗残差变换网络梯度消失问题的方法。

本发明的目的可以通过以下技术方案来实现：

一种基于正则化的解决对抗残差变换网络梯度消失问题的方法，包括以下步骤：

步骤S1：特征提取器提取源域的源数据和目标域的目标数据的特征分布；

步骤S2：转换网络将所述源数据的特征分布映射到所述目标域，生成伪造目标数据；

步骤S3：所述伪造目标数据通过训练建立标签分类器，通过所述标签分类器预测目标数据的标签值；

步骤S4：域分类器对比所述伪造目标数据与目标数据，并将对比结果反馈给所述特征提取器，特征提取器根据对比结果对特征分布的提取过程进行改进，所述转换网络优化源数据到目标域的映射方式；

步骤S5：循环执行步骤S1-S4，直至域分类器不能准确分辨伪造目标数据与目标数据，即对抗残差变换网络模型的损失函数的值收敛，所述转换网络的映射方式使源域和目标域之间达到域适应状态，所述损失函数设有正则化项，所述正则化项的公式如下：

其中，r(G(x^s),T(G(x^s)))为正则化项，G为特征提取器函数，T为转换网络函数，x^s为源域的源数据，·代表内积运算，||代表L2范式。

所述损失函数的具体公式如下所示：