[发明专利]基于半监督的多模态深度学习分类方法

摘要

本发明提出了在用深度学习进行分类的同时考虑了样本丰富的多模态信息以及各模态的分类贡献差异性，利用半监督方法解决样本不足的问题，本发明把高光谱图像不同模态数据分别送入深度神经网络，并采用半监督的方法来利用大量未标记样本，采用基于自编码的深度神经网络进行特征学习，将所有标记和未标记的数据送入自编码深度网络进行学习，分别为不同模态设计类似的网络，通过自编码重构来获取各自的初始化参数，通过聚类的方法获取有标记样本的隐含的属性分类，对未标记数据，先通过多目标深度网络计算其深度特征，然后基于聚类标签寻找近似的有标记样本，最后根据有标记样本的标记信息预测未标记样本的标记。

主权项

基于半监督的多模态深度学习分类方法，其特征在于，包括如下步骤：(1)将高光谱图像分为光谱模态、空间纹理模态和空间相关性模态，针对每种模态分别设计对应的深度卷积神经网络；(2)根据模态的分类贡献差异度，设计融合三个模态的融合分类器F；每个模态本身具有自己的隐含属性，因此可以对不同模态数据进行聚类，以获得其内在属性类别，每个模态都对应一个隐含属性分类器，分别为光谱隐含属性分类器S，纹理隐含属性分类器T，以及相关性隐含属性分类器R。(3)针对所有的标记样本，利用聚类方法来获取其隐含的属性分类；(4)通过聚类后每个样本拥有两个标签，可以获得这两个类别的对应关系；(5)对未标记的样本进行聚类分析，先通过多目标深度网络计算其深度特征，然后基于聚类标签寻找近似的有标记样本，最后根据有标记样本的标记信息预测未标记样本的标记。