[发明专利]基于结构化信息特征解耦与知识迁移的视觉场景识别方法

说明书

本发明公开了一种基于结构化信息特征解耦与知识迁移的视觉场景识别方法，包括如下步骤：使用Canny边缘检测器提取图像的边缘表示形式，并基于自动编码器将其转换为边缘特征矢量；利用微调后的ResNet‑34提取图像的外观特征表示；对于输入图像，送入特征解耦网络分别生成结构化特征向量与外观特征向量，结构化特征向量的特征分布将会与内容教师模块生成的边缘特征矢量进行对比；解码器整合输入的特征并重构原始图像，用于鼓励所学习的内容特征与外观特征能够形成完整的输入图像的表示，提取结构化特征向量作为最终的场景特征，并利用余弦距离计算优化特征间的相似度，实现视觉场景识别。

技术领域

本发明涉及计算机视觉及机器人领域，具体涉及一种基于结构化信息特征解耦与知识迁移的视觉场景识别方法。

背景技术

准确的场景识别有助于机器人认知自身的状态，很好地完成工作任务。所谓场景，指的是真实世界中，由传感器所记录的某一个时刻某一地点的数据，它包含了各种不同物体的组合。移动机器人的任务就是在不同时间段重复地访问同一场景，并判断出该场景是否是之前所经历过的。场景识别一般围绕“这是哪里”进行展开，通过对场景中的目标进行检测分析，或者进行稳定的特征提取，来对当前所处场景进行分析和判断。例如，在视觉SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)过程中，精准的场景识别可以帮助机器人判断是否已处于之前访问过的环境区域，从而形成闭环检测并进行地图优化，这对于保证地图的一致性、减少累积误差是至关重要的。《IEEE internationalconference on robotics and automation(ICRA),1011–1018,2018》公开了一种可转换的生成器，它可以对图像的昼夜、季节等条件进行变换。该图像变换生成器是基于SURF检测器和稠密描述符所设计的，用于辅助特征匹配，从而在剧烈的外观变化下提高视觉场景识别和度量定位的精度。《IEEE International conference on robotics and automation(ICRA),4489–4495,2018》提出了一种对抗性的、用于终身的、增量的域适应方法。该方法通过使用生成对抗网络来近似源域的特征分布，使得部署模块可以完全独立于大量的源训练数据。《IEEE International Conference on Robotics and Automation(ICRA),9271–9277,2020》提出了一种多光谱域不变框架，该框架通过在目标函数中引入新的约束条件，利用非成对图像变换方法生成具有语义和强区分性的不变图像，展现了在多光谱场景识别任务上有竞争力的性能。因此，视觉场景识别方法的关键问题在于，针对外观变化情形下的网络训练、基于对抗训练的特征解耦和基于结构化信息的知识迁移。

发明内容

针对以往场景识别方法在外观变化情形下的特征冗余交错、图像表征能力的不足，本发明提出了一种基于结构化信息的特征解耦与知识迁移的视觉场景识别方法。该方法利用结构信息学习深度解耦的特征表示用于场景识别。通过引入概率知识迁移的方法，实现了结构信息从Canny边缘检测器到结构编码器的迁移，并添加了一个外观教师模型，以帮助外观编码器生成更具体的特征。此外，还引入了仿射变换产生附加噪声至卷积自动编码器中，以解决边缘对视角变化过于敏感的问题。该方法能够提升外观变化情形图像特征的表征能力，从而保证生成的图像特征能够应对复杂的环境变化，提升机器人的场景重识别能力，以服务于导航、定位等应用场景。

本发明的技术方案是这样实现的：

基于结构化信息的特征解耦与知识迁移的视觉场景识别方法，包括如下步骤：

步骤一，使用Canny边缘检测器提取图像X的边缘表示形式X_CE，并基于自动编码器将其转换为矢量X_CT；

步骤二，利用微调后的ResNet-34提取图像X的外观特征表示X_AT；