[发明专利]迁移学习数据处理方法、系统、介质、设备、终端及应用

说明书

本发明属于图像分类技术领域，公开了一种迁移学习数据处理方法、系统、介质、设备、终端及应用，目标域图像骨架化，得到目标域图像骨架图；构造骨架拟合器网络；训练骨架拟合器网络；构造图像骨架约束的生成对抗网络；通过对抗损失，生成图像的损失，分类器损失对生成器网络和判别器网络依次进行交替训练；输入目标域图像，得到目标域图像标签信息；本发明通过图像骨架对生成的图像进行约束，将源域图像的分布翻译成目标域图像的分布并保持结构信息不变，从而进行标签的传递，实现跨域分类。本发明通过约束源域和目标域间的结构信息，利用生成对抗网络，使源域图像的分布翻译成目标域图像的分布并保持结构信息不变，从而进行标签的传递。

技术领域

本发明属于图像分类技术领域，尤其涉及一种迁移学习数据处理方法、系统、介质、设备、终端及应用。

背景技术

近年来，深度学习相关技术已经被广泛应用于各个领域，尤其在图像分类问题上取得了显著成果，传统的深度学习方法都默认训练数据和测试数据属于相同的数据分布，而现实情况往往更为复杂，随着时间的推移，数据的分布也在发生变化，这就使得花费高额成本得到的训练模型的不能够满足实际问题的需要。深度迁移学习打破了传统的深度学习框架，利用现实中存在的已有标注信息的数据域，通过寻找两个域间的相似性，进行知识的迁移，从而完成标签的传递。

目前主流的深度迁移学习方法主要分为基于微调(fine-tuning)和领域自适应(domain adaption)两种。基于微调的深度迁移学习利用已经训练好的成熟网络，针对实际任务，将网络模型前几层的参数固定，对输出层或后几层参数进行调整以满足任务需要。预训练模型由于其往往在规模较大的数据集上训练得到的，而深度学习模型的性能很大程度上都依赖于数据量的多寡，因此采用该种方式得到的模型鲁棒性更好，且泛化能力更强，但该方法无法解决迁移学习问题中的数据分布不同问题。领域自适应方法主要通过提取源域和目标域数据的域不变特征来调整来进行知识的迁移，该方法假设数据在特征空间的分布是一致的，但该类方法存在的问题是，由于特征空间的抽象性，其实无法判断提取的特征是否为域不变特征。

通过上述分析，现有技术存在的问题及缺陷为：

(1)基于微调的深度迁移学习方法使用的预训练模型，其训练数据和目标任务所使用的数据匹配度并不高，即使该模型有较强的泛化能力，在目标数据上的性能也有所限制，同时更无法解决训练数据与测试数据分布不相同的问题。

(2)领域自适应方法由于特征空间的抽象性，无法判断提取的特征是否为域不变特征，并且提取到的域不变特征是否可区分以满足任务需要，其标准难以衡量。

解决以上问题及缺陷的难度为：迁移学习方法成立的前提条件是源域数据和目标域数据拥有相似的，可共用的知识，由于深度神经网络拥有极强的特征表征能力，因而深度迁移学习方法大都利用该网络进行特征提取并假设源域数据和目标域数据在特征空间分布一致，为了解释深度神经网络，科研工作者进行了大量的对比实验。本发明利用生成对抗网络在图像翻译领域的优越性，并辅以图像骨架约束以控制图像表达的含义不变进行知识迁移，可以通过中间结果检验生成器网络的性能，直观的感受迁移学习的过程，通过实验证明，取得了较好的结果。

解决以上问题及缺陷的意义为：为解决上述问题，亟需找到一种可解释性的迁移学习方法，即能够直观的展现出源域数据和目标域数据之间的联系，并且可以利用源域数据及其标注信息完成迁移学习任务。

发明内容

针对现有技术存在的问题，本发明提供了一种迁移学习数据处理方法、系统、介质、设备、终端及应用。

本发明是这样实现的，一种迁移学习数据处理方法，所述迁移学习数据处理方法、系统、介质、设备包括：

获取目标域图像X_t及其对应骨架图I_t，构造形式为“目标域图像-目标域图像骨架图”的成对数据集，用于网络模型训练；

构造骨架拟合器网络T，用于拟合输入图像的骨架信息；