[发明专利]基于语义表征的无监督域适应图像分类方法

说明书

本发明公开了一种基于语义表征的无监督域适应图像分类方法，包括：步骤1)预训练和自训练：使用源域预训练模型，并结合自训练学习初步获取目标域的伪标签；步骤2)提取类别语义表征：通过改变语义向量方向，决策类别的有效语义表征，提取到有效类别语义表征；步骤3)模糊跨域语义表征：以图像域标签为指导，改变跨域样本的语义向量方向，获得跨域语义表征，进一步模糊这些跨域语义表征；步骤4)重构分析：对有效类别语义表征和模糊后的跨域语义表征分别生成新的样本表征，并进行重构分析；步骤5)训练分类器和域判别器：使用新样本表征训练分类器和域判别器，计算分类损失和对抗损失；步骤6)模型优化：梯度计算，优化更新模型参数。

技术领域

本发明属于迁移学习中的域适应图像分类领域，具体涉及一种基于语义表征的无监督域适应图像分类方法。

背景技术

域适应是迁移学习中的一个重要研究方向，以源域和目标域数据作为学习样本，其中源域是易获取的有标签样本，目标域是无标签样本。显然，对于有监督的源域是容易学习到其分类模型的，然而，对于无监督的目标域，为了提高其分类性能，更有效的解决方法是迁移源域知识，辅助目标域数据学习分类模型。域适应假设了源域和目标域的数据分布不一致，源任务和目标任务相似。因此，如何利用源域和目标域的相似性，解决分布差异的问题，进而提高目标域的分类能力是该领域的主要思考方向。相较于传统机器学习，无监督域适应的目标数据集不再需要标签，省去了大量的人工成本。此外，域适应在面对新场景的实际情况中，能够快速学习应用，利用过往的有效数据集即可提高未知图像的分类精度。

目前，域适应分类模型在图像分类领域中已经得到了较好的应用，然而，它们的考虑方向往往依赖且局限于特征空间的全局对齐，对样本语义层面没有进行可解释的分析。在实际情况中，跨域分布差异的存在是由样本固有的域风格导致的，且风格语义属性对于样本所属类别并不具备指向性，因此，对这部分语义属性，并不具备类别解释性，在特征空间对齐的实际操作中，可以选择性地进行舍弃。此外，近年来不少研究域适应的方法采用对抗网络来进行跨域差异最小化，对这些研究，也缺乏了对模糊跨域语义表征的考虑。对于利用对抗机制，欺骗域判别器，不具备可解释的语义属性是最好的欺诈数据。

对于语义表征的可解释目前在域适应研究领域中较为匮乏，利用语义表征的可解释性对图像进行分类也可以进一步解释图像信息。

发明内容

发明目的：针对以上问题，本发明提出一种基于语义表征的无监督域适应图像分类方法，解决现有无监督域适应场景中语义属性不可解释性的问题，提高图像分类精度。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于语义表征的无监督域适应图像分类方法，利用有类别标签的图像样本即源域，学习分类另外一组数据分布不一样的无类别标签的图像样本即目标域，包括以下步骤：

步骤1)预训练和自训练：使用源域图像样本在卷积神经网络上进行预训练，获得基于源域图像样本表征的骨干网络，包含特征提取器和分类器；

基于上述骨干网络，连接设置域判别器、编码器和生成器，构建并训练域适应模型，学习源域图像样本分类信息，并使用自训练学习获取目标域的伪标签；

步骤2)提取类别语义表征：设每类图像样本存在K种语义属性，通过改变各语义向量方向，判断不同的语义属性是否影响对应样本指向其所属类别，提取到各个类别的有效类别语义表征；

步骤3)模糊跨域语义表征：设两组数据分布不同的图像样本，即源域和目标域为两类样本，它们存在P种语义属性，在域适应模型中嵌入对抗网络，设置域判别器，模糊源域和目标域的域类别概念，模糊跨域语义表征；

步骤4)重构分析：使用生成器分别对有效类别语义表征和模糊后的跨域语义表征生成新的样本表征，并联合编码器计算重构损失；

步骤5)训练分类器和域判别器：使用新样本表征进一步训练分类器和域判别器，并计算分类损失和对抗损失；