[发明专利]一种基于异构深度特征的多模态地基云识别方法

权利要求书

1.一种基于异构深度特征的多模态地基云识别方法，其特征在于，该方法包括以下步骤：

步骤S1，对多模态地基云样本进行预处理，得到训练多模态地基云样本，其中，所述训练多模态地基云样本包括异构深度特征网络的视觉信息输入和多模态信息输入；

步骤S2，将所述训练多模态地基云样本输入至异构深度特征网络训练模型中，训练得到异构深度特征网络；

步骤S3，基于所述异构深度特征网络提取得到所述训练多模态地基云样本的异构深度特征，并将得到的异构深度特征进行串联得到所述训练多模态地基云样本的最终特征表示；

步骤S4，基于所述训练多模态地基云样本的最终特征表示训练支持向量机分类器，得到多模态地基云分类模型；

步骤S5，获取测试多模态地基云样本的最终特征表示，将其输入至所述多模态地基云分类模型中，得到多模态地基云识别结果；

所述步骤S2包括以下步骤：

步骤S21，构建异构深度特征网络，其中，所述异构深度特征网络包括卷积神经网络提取器、图卷积神经网络提取器、串联器和分类器；

步骤S22，初始化所述异构深度特征网络中的参数，得到异构深度特征网络训练模型；

步骤S23，将所述训练多模态地基云样本输入至所述异构深度特征网络训练模型中，训练得到异构深度特征网络；

所述步骤S21包括以下步骤：

步骤S211，构建卷积神经网络提取器，以地基云图和多模态信息作为输入，得到基于卷积神经网络的深度特征，其中，所述卷积神经网络提取器包括视觉子网络、多模态子网络、融合层和全连接层；

步骤S212，构建图卷积神经网络提取器，其中，所述图卷积神经网络提取器包括以所述基于卷积神经网络的深度特征为基础构建的图和邻接矩阵，以及Q层图卷积层，以所述构建的图中节点的集合和邻接矩阵作为输入，得到基于图卷积神经网络的深度特征，其中，所述构建的图由N个节点和连接节点的边组成，所述邻接矩阵用于表示节点间关系的强弱性；

步骤S213，构建串联器，将所述基于卷积神经网络的深度特征和基于图卷积神经网络的深度特征进行串联，得到所述训练多模态地基云样本的最终特征表示；

步骤S214，构建分类器，其中，所述分类器包括全连接层和损失函数。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

步骤S11，对所述多模态地基云样本中的地基云图进行预处理，得到异构深度特征网络的视觉信息输入；

步骤S12，对所述多模态地基云样本中的多模态信息进行预处理，得到所述异构深度特征网络的多模态信息输入。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111，将所述多模态地基云样本中的地基云图改变为预设大小，得到改变大小的地基云图；

步骤S112，对所述改变大小的地基云图进行归一化处理，得到归一化地基云图；

步骤S113，对所述归一化地基云图分别进行水平翻转、垂直翻转和随机旋转。

4.根据权利要求2或3所述的方法，其特征在于，所述步骤S12包括以下步骤：

步骤S121，获取所述多模态地基云样本中的多模态信息；

步骤S122，将所述多模态信息的值进行归一化，得到所述异构深度特征网络的多模态信息输入。

5.根据权利要求1所述的方法，其特征在于，所述步骤S23中，还采用反向传播和随机梯度下降法优化所述异构深度特征网络训练模型。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，将所述训练多模态地基云样本输入至所述异构深度特征网络中；

步骤S32，提取所述异构深度特征网络中串联器的输出特征作为所述训练多模态地基云样本的最终特征表示。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4中，将所述训练多模态地基云样本的最终特征表示以及对应类别标签输入至支持向量机分类器中，得到所述多模态地基云分类模型。