[发明专利]一种保障高空中油箱内视觉采集图像空地一致性的方法

说明书

本发明涉及图像识别的技术领域，特别是涉及一种保障高空中油箱内视觉采集图像空地一致性的方法；包括以下步骤：S1：获取油量图像数据集及多模态语义信息描述，将空中数据命名为不可见类，地面模拟数据命名为可见类，构建不可见类和可见类共有的多模态语义库；S2：构建深度特征提取网络和可见类样本图像分类模型；S3：通过可见类样本及类别标签训练的图像分类模型，计算不可见类与可见类样本特征之间的视觉特征潜在相似度；S4：构建浅层神经网络，得到不可见类与可见类之间的语义相似度；S5：对于每一个不可见类，将它们的视觉特征潜在相似度和语义特征相似度联合；S6：计算可见类中每一类特征数据的均值和标准差；S7：构建语义分类模型。

技术领域

本发明涉及图像识别的技术领域，特别是涉及一种保障高空中油箱内视觉采集图像空地一致性的方法。

背景技术

在现实生活中，无论是民用飞机还是军事领域，飞机油箱中的剩余油量都是评估飞机续航能力、确保飞行安全的重要指标，它的精准程度对飞机重心控制、机动性、续航时间计算、有效载重确定均有重要意义。当前广泛使用的油量测量方法主要有电容式传感器、光纤传感器、超声波传感器等，但随着飞机研究水平和深度学习的高速发展，越来越多的人采用基于机器视觉的非接触式油量测量方法，提出通过深度网络以直接获取深度信息为目标的视觉非接触式测量技术，可以在减少油量测量成本的同时提高油量测量精度，这种方法正逐渐被普及。但无论是利用卷积神经网络、循环神经网络还是最近提出的深度Q网络，以上大多数方法都是基于监督学习，即视觉式测量需借助已标定的油量数据进行有监督学习，这意味着数据驱动的深度学习在一个场景下训练的测量模型，面临场景变更时性能会急剧下降。

在军事领域，未来空战环境飞行条件下未知因素众多，飞机姿态机动变化随机性强，液面视觉表征对应油量数据情况复杂多变，导致高空实飞环境与地面实验环境存在较大差异，高空飞行中有很多地面没有的空中特殊状态油量图像且均为未标定图像数据，这使得通过地面数据学得的测量模型无法保证空中数据的检测效果，也即是无法保证测量性能方面地面模拟状态与飞行状态下的空地一致性。

发明内容

为解决上述技术问题，本发明提供一种保障高空中油箱内视觉采集图像空地一致性的方法，根据空中数据在地面数据中的视觉特征潜在相似度，结合空中数据与地面数据语义间的相似度，合成空中数据样本的虚拟特征，利用生成的虚拟特征及空中数据的多模态语义标签训练得到语义分类器，在测试时，将空中数据送入训练好的语义分类器中得到空中数据的语义结果，对比油量数据集中收集的多模态语义信息库得出空中数据的测试类别。

本发明的一种保障高空中油箱内视觉采集图像空地一致性的方法，包括以下步骤：S1：获取油量图像数据集及多模态语义信息描述，将空中数据命名为不可见类，地面模拟数据命名为可见类，构建不可见类和可见类共有的多模态语义库；

S2：构建深度特征提取网络和可见类样本图像分类模型；

S3：通过可见类样本及类别标签训练的图像分类模型，计算不可见类与可见类样本特征之间的视觉特征潜在相似度；

S4：构建浅层神经网络，将构建的多模态语义库中所有类别的语义标签输入到浅层神经网络中，使所有类别的语义标签处于同一个嵌入空间进行维度压缩，将不可见类别语义与可见类别语义特征进行相似度比较，得到不可见类与可见类之间的语义相似度；

S5：对于每一个不可见类，将它们的视觉特征潜在相似度和语义特征相似度联合；

S6：计算可见类中每一类特征数据的均值和标准差，根据不可见类样本在可见类样本中的联合分布情况合成不可见类样本的虚拟目标特征；

S7：构建语义分类模型，对不可见类样本进行预测。