[发明专利]多模态图像的自适应特征融合方法

权利要求书

1.一种多模态图像的自适应特征融合方法，其特征在于，包括以下步骤：

步骤S1:构建编码器，并输入多种模态图像，分别获得多种模态的特征；

步骤S2:利用典型相关性分析的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；

步骤S3:构建解码器，将多种模态的新特征作为输入，分别获得多种模态新的模态图像；

步骤S4:构建分类器，并根据原模态图像和新的模态图像，利用标签一致损失，更新自适应特征融合模型；

步骤S5:迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的多种模态的新特征，进行级联操作，获得融合特征；

所述的典型相关性分析,将两种模态作为第一对典型变量分析进行说明，多种模态则寻求一个依然最大化相关但与第一对模态典型变量不相关的向量；这样就得到了第二对典型变量，这个步骤进行次，n为模态数；

设X，Y分别为模态1图像特征空间和模态2图像特征空间，x，y是两个特征空间的向量，将x，y投影到一维，对应的投影向量为a，b，则有：

x'＝a^Tx,y'＝b^Ty；

典型相关性分析的优化目标是最大化ρ(x′，y′)，得到对应的投影向量a，b，即

在投影前，对原始数据进行标准化，得到均值为0，方差为1的数据x，y，则有：

cov(x′，y′)＝cov(a^Tx，b^Ty)＝E(a^Tx，b^Ty)＝E((a^Tx)(b^Ty)^T)

＝a^TE(xy^T)b；

D(x′)＝D(a^Tx)＝a^TE(xx^T)a；

D(y′)＝D(b^Ty)＝b^TE(yy^T)b；

由于x，y的均值为0，则有：

D(x)＝cov(x，x)＝E(xx^T)；D(y)＝cov(y，y)＝E(yy^T)；

cov(x，y)＝E(xy^T)；cov(y，x)＝E(yx^T)

令S_xy＝cov(x，y)，则优化目标转化为：

进一步转化为：

然后，求出优化目标的最大值，得a，b向量，最后利用线性转换函数z＝a^TX+b^Ty，得到新的特征。

2.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于：所述编码器为三层卷积层，使用BN正则化，激活函数为ReLU函数，每多层卷积层中间加入一层最大池化层。

3.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于：所述解码器为两层反卷积层，使用BN正则化，激活函数为ReLU函数。

4.根据权利要求1所述的一种多模态图像的自适应特征融合方法，其特征在于，所述步骤S4具体为：

步骤S41:构建分类器，第一层：全连接层，输入特征为32x32x1，输出特征4096；第二层：全连接层，输入特征为4096，输出为2，激活函数为sigmoid函数；

步骤S42:利用多种模态图像分别进行预训练，保存多个模型权重；

步骤S43:将原模态图像和经过解码器获得新的模态图像分别输入到分类器中，获得分类得分；

步骤S44:利用多个分类得分计算交叉熵损失，即标签一致损失，更新编码器和解码器参数，即自适应特征融合模型。