[发明专利]一种基于异构深度特征的多模态地基云识别方法

说明书

本发明实施例公开了一种基于异构深度特征的多模态地基云识别方法，所述方法包括：对多模态地基云样本进行预处理，得到训练多模态地基云样本；将训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；基于异构深度特征网络提取得到训练多模态地基云样本的异构深度特征，串联得到训练多模态地基云样本的最终特征表示；训练支持向量机分类器，得到多模态地基云分类模型；获取测试多模态地基云样本的最终特征表示，输入至多模态地基云分类模型中，得到多模态地基云识别结果。本发明利用卷积神经网络和图卷积神经网络进行特征提取，能够有效挖掘视觉信息、多模态信息以及样本间的相关性信息，提高地基云分类正确率。

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于异构深度特征的多模态地基云识别方法。

背景技术

云的体积、厚度和形状变化对全球范围内的水文循环和能量平衡有着重大的影响。因此许多研究者着力于云观测方面的研究。其中，由于云的形状千变万化并且边界总是模糊不明确，使得云分类富有挑战性。用人力对云分类耗时耗力，并且分类结果含有主观判断误差。因此，需要提出更加准确高效的自动地基云识别方法。

传统的自动地基云识别方法通常提取地基云图的纹理、形状和颜色等信息。Isosalo等人提出利用局部二值模式和局部边缘模式提取地基云图的局部纹理信息，利用提取的局部纹理特征来进行云类型的预测。除了提取云图的纹理信息，Zhuo等人提出了颜色统计转换和自动分块的方法同时提取云的纹理信息和结构信息。随着卷积神经网络在各个领域的广泛应用与发展，其也被应用到地基云的分类任务中，并且取得了相对传统方法更好的分类结果。Shi等人利用浅层的卷积神经网络提取地基云图的局部纹理信息对地基云图进行分类。Zhao等人提出3D-CNN模型提取地基云图的纹理信息和时间变化信息对地基云图像进行分类。

以上所提到的自动地基云识别方法主要利用地基云的视觉信息，但是云的形成与多种因素密切相关，这些因素包括温度、湿度、气压和风速等，可以将这些因素定义为多模态信息。Liu等人提出分层多模态融合方法，将多模态信息和地基云图同时输入到基于卷积神经网络的模型中分别提取深度视觉特征和深度多模态特征，并将两种深度特征进行不同层次的融合得到多模态地基云的最终表示。通过将多模态信息应用到地基云的自动分类任务中，使得地基云最终的特征表示更加完备。

发明内容

本发明的目的是要解决多模态地基云识别问题，为此，本发明提供一种基于异构深度特征的多模态地基云识别方法。

为了实现所述目的，本发明提出一种基于异构深度特征的多模态地基云识别方法，所述方法包括以下步骤：

步骤S1，对多模态地基云样本进行预处理，得到训练多模态地基云样本其中，所述训练多模态地基云样本包括异构深度特征网络的视觉信息输入和多模态信息输入；

步骤S2，将所述训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；

步骤S3，基于所述异构深度特征网络提取得到所述训练多模态地基云样本的异构深度特征，并将得到的异构深度特征进行串联得到所述训练多模态地基云样本的最终特征表示；

步骤S4，基于所述训练多模态地基云样本的最终特征表示训练支持向量机分类器，得到多模态地基云分类模型；

步骤S5，获取测试多模态地基云样本的最终特征表示，将其输入至所述多模态地基云分类模型中，得到多模态地基云识别结果。

可选地，所述步骤S1包括以下步骤：

步骤S11，对所述多模态地基云样本中的地基云图进行预处理，得到异构深度特征网络的视觉信息输入；

步骤S12，对所述多模态地基云样本中的多模态信息进行预处理，得到所述异构深度特征网络的多模态信息输入。

可选地，所述步骤S11包括以下步骤：