[发明专利]一种基于对比学习的视角无关特征解离方法及系统

说明书

本发明提出一种基于对比学习的视角无关特征解离方法及系统，包括构建多图像数据集；将多图像数据集输入编码器网络，提取多视角图像表征；将多视角图像表征切分为视角信息表征和视角无关信息表征；将视角无关信息表征视为正样例，将视角信息表征视为负样例，对视角信息表征和视角无关信息表征使用对比学习损失进行的解离，并对所有视角无关信息表征使用均匀分布损失，辅助所有视角无关信息表征在超球面上均匀分布。采用正样例和负样例都从同一个表示张量中获取的对比学习方法，将视角信息相互远离，使得视角信息不再相互靠近。

技术领域

本发明涉及人工智能领域，更具体地，涉及一种基于对比学习的视角无关特征解离方法及系统。

背景技术

目前，大部分的无监督特征解离技术是在GAN网络框架或VAE网络框架下进行的，但这种类型的网络框架会面临计算困难和模型复杂等问题。基于对比学习的特征解离技术，无需繁杂的网络框架，就能够从纠缠的多视角图像表示中解离出视角无关部分的特征表示，并将其用于下游任务。

公开号为CN112598775A(公开日为2021-04-02)提出一种基于对比学习的多视图生成方法，提出一种基于对比学习的多视图生成方法，包括以下步骤：获取多视角图像数据及其对应的真实视点标签；对多视角图像数据进行预处理，构建训练集；使用对比学习约束训练编码器；在完成训练的编码器后接入解码器和判别器，构成生成对抗网络，将所述训练集输入所述生成对抗网络中进行对抗训练；输入外观图像，经完成训练的编码器提取视角不变特征后，将所述视角不变特征和目标视角标签输入完成训练的解码器中，输出得到保留主体本征信息且视角转换为目标视角的外观图像。

该方法将不同视角的图像视为某一个视角的图像增强，不同视角的图像会直接被视为正样例，导致视角信息的表征会相互靠近。然而，理想的结果是视角信息的表征不应该相互靠近。

发明内容

本发明为克服上述现有技术所述的视角信息的表征会相互靠近，导致下游分类检索任务准确度降低的缺陷，提供一种基于对比学习的视角无关特征解离方法及系统。

为解决上述技术问题，本发明的技术方案如下：

第一个方面，本发明提出一种基于对比学习的视角无关特征解离方法，包括以下步骤：

S1：构建多图像数据集；

S2：将多图像数据集输入编码器网络，提取多视角图像表征；

S3：将多视角图像表征切分为视角信息表征和视角无关信息表征；

S4：将视角无关信息表征视为正样例，将视角信息表征视为负样例，对视角信息表征和视角无关信息表征使用对比学习损失进行解离；对所有视角无关信息表征使用均匀分布损失，辅助所有视角无关信息表征在超球面上均匀分布。

优选地，S1步骤具体包括：

S1.1：从3D模型中渲染出包含多个视角的2D图像；

S1.2：利用2D图像构建多视图数据集列表M和N；M和N对应的两个图像分别记为和i∈{1,…,T}；v₁∈{0,…,m},v₂∈{0,…,m}；v₁≠v₂；

其中，表示第i个实例的第v₁个视角的图像，表示第i个实例的第v₂个视角的图像；T为实例的总数，m为视角的总数。

优选地，S2步骤具体包括：

S2.1：将同一实例中同一位置的不同视角的两个图像和进行拼接，得到

S2.2：将输入编码器网络进行表征提取，得到[2×128,T]维的多视角图像表征；