[发明专利]一种基于对比学习的视角无关特征解离方法及系统

权利要求书

1.一种基于对比学习的视角无关特征解离方法，其特征在于，包括以下步骤：

S1：构建多图像数据集；

S2：将多图像数据集输入编码器网络，提取多视角图像表征；

S3：将多视角图像表征切分为视角信息表征和视角无关信息表征；

S4：将视角无关信息表征视为正样例，将视角信息表征视为负样例，对视角信息表征和视角无关信息表征使用对比学习损失进行解离；对所有视角无关信息表征使用均匀分布损失，辅助所有视角无关信息表征在超球面上均匀分布；具体包括：

S4.1：将视角无关信息表征视为正样例，将视角信息表征视为负样例，通过对比学习损失，视角无关信息表征相互靠近，以及视角信息表征远离，对比学习损失函数L_cl的公式如下：

；

其中，rep₁和rep₂分别为两个[120,T]维的多视角图像表征的120维视角无关张量，view₁和view₂分别为两个[8,T]维的多视角图像表征的视角张量，sim(∙)表示余弦相似度，τ为温度超参数；

S4.2：对所有视角无关信息表征使用均匀分布损失，辅助所有视角无关信息表征在超球面上均匀分布，均匀分布损失函数的公式如下：

其中，pdata为多图像数据集，x和y分别为pdata数据集中任意两个图像，且x和y在整个数据集中满足独立同分布；E为期望，t为超参数。

2.根据权利要求1所述的基于对比学习的视角无关特征解离方法，其特征在于，所述S1步骤具体包括：

S1.1：从3D模型中渲染出包含多个视角的2D图像；

S1.2：利用2D图像构建多视图数据集列表M和N；M和N对应的两个图像分别记为和，i∈{1,…,T}；v₁∈{0,…,m},v₂∈{0,…,m};v₁≠v₂；

其中，表示第i个实例的第v₁个视角的图像，表示第i个实例的第v₂个视角的图像；T为实例的总数，m为视角的总数。

3.根据权利要求2所述的基于对比学习的视角无关特征解离方法，其特征在于，所述S2步骤具体包括：

S2.1：将同一实例中同一位置的不同视角的两个图像和进行拼接，得到[,]^T；

S2.2：将[,]^T输入编码器网络进行表征提取，得到[2×128,T]维的多视角图像表征；

S2.3：将[2×128,T]维的多视角图像表征拆分为两个[128,T]维的多视角图像表征。

4.根据权利要求3所述的基于对比学习的视角无关特征解离方法，其特征在于，所述S3步骤具体包括：

S3.1：将两个[128,T]维的多视角图像表征分别进行拆分，得到两个[8,T]维的多视角图像表征和两个[120,T]维的多视角图像表征；

S3.2：将[8,T]维的多视角图像表征设为视角信息表征，将[120,T]维的多视角图像表征设为视角无关信息表征。