[发明专利]基于结构化信息特征解耦与知识迁移的视觉场景识别方法

权利要求书

1.一种基于结构化信息特征解耦与知识迁移的视觉场景识别方法，其特征在于，具体步骤如下：

步骤一，使用Canny边缘检测器提取图像X的边缘表示形式X_CE，并基于自动编码器将其转换为矢量X_CT；

步骤二，利用微调后的ResNet-34提取图像X的外观特征表示X_AT；

步骤三，对于输入图像X，送入特征解耦网络，则会分别生成结构化特征向量X_SC与外观特征向量X_A；随后，X_SC被送入至D_AA用于判断所提取的结构化特征向量是否来自于同一个域。此外，X_SC的特征分布将会与内容教师模块生成的X_CT进行对比。至于X_A，它不仅会被三元组损失函数进行优化，其分布还会与外观教师模块生成的X_AT进行对比；

步骤四，解码器D_E整合输入的特征并重构原始图像，用于鼓励所学习的内容特征与外观特征能够形成完整的输入图像的表示；提取结构化特征向量X_SC作为最终的场景特征，并利用余弦距离计算优化特征间的相似度，实现视觉场景识别。

2.根据权利要求1所述的一种基于结构化信息的特征解耦与知识迁移的视觉场景识别方法，其特征在于，所述步骤一的具体过程如下：

首先为了实现二维的射影变换，需要找到图像中的四个点来估测单应性矩阵。在每帧图像的角落的边框内随机选择四个点。边框的大小设定为来确保视角变化的合理程度。H和W分别为图像的宽度与高度；

图像的边缘表示形式为

X_CE＝Canny(X) (1)

Canny(·)为Canny边缘检测器提取边缘操作；

边缘的矢量表示则为：

X_CT＝Auto_encoder(X_CE) (2)

Auto_encoder(·)为自动编码器的特征编码操作。

3.根据权利要求1所述的一种基于结构化信息的特征解耦与知识迁移的视觉场景识别方法，其特征在于，所述步骤二的具体过程为：

对于输入图像X，利用微调后的ResNet-34提取外观特征表示X_AT：

X_AT＝ResNet(X) (3)

ResNet(·)为提取ResNet-34的倒数第二层特征的操作。