[发明专利]基于归一化互信息的多模态融合方法、装置、介质及设备

权利要求书

1.一种基于归一化互信息的多模态融合方法，其特征在于：包括如下步骤：

S1步、获取采集人体的多种模态数据集，各种模态数据集中的数据分别带有标签；对于各种模态数据集，数据总数量相同，数据的标签归类划分相同，数据模态不相同；

S2步、对各种模态数据集进行预处理；将预处理后的各种模态数据集分别进行特征提取，以获取有利于决策标签的相应特征数据；

S3步、通过宽度学习系统得到各个模态数据集的宽度学习特征映射；确定归一化互信息的多模态融合方式；利用各种模态数据集的特征数据将宽度学习系统进行训练和测试，得到训练和测试好的宽度学习系统的判别架构模型；判别架构模型采用伪逆矩阵运算来算出；

S4步、根据训练和测试好的多模态融合方式和判别架构模型来进行模态特征融合和最终的判决输出；

所述S3步中，宽度学习系统包括数据输入层、特征映射层、权重学习层和预测输出层；所述宽度学习系统中，特征映射层的处理步骤包括：

A1、将输入的特征数据X随机映射到特征节点Z₁,Z₂,…,Z_n，得到初步的映射特征节点为：

其中，和是随机生成，φ是激活函数，n为节点层数；

得到所有的特征节点为Zⁿ＝[Z₁Z₂…Z_n]；

A2、将特征节点随机映射到增强节点H₁,H₂,…,H_m，则第m组增强节点为：

其中，和是随机生成，ζ是激活函数；

得到所有的增强节点为H^m＝[H₁H₂…H_m]，单个模态数据集的宽度学习特征映射为：

F＝[Z₁...Z_n|H₁...H_m]

A3、重复步骤A1和A2，直至计算出所有模态数据集的宽度特征映射；得到各个模态数据集的宽度学习特征映射为：

F^k＝[Z₁...Z_n|H₁...H_m]

其中，k为模态数据集的种类总数；

所述S3步中，确定归一化互信息的多模态融合方式的步骤如下：

B1、分别计算各个模态数据集的宽度学习特征映射和标签的归一化互信息融合权值：

其中，C为标签数据,j表示F^k中的第j个特征；

B2、将各个模态数据集的融合权值输入到归一化指数函数，以更新为融合权值

融合权值的取值范围为(0,1)；

B3、最终的多模态融合的宽度学习特征F_fuse为各个模态数据集的宽度学习特征映射的加权和：

2.根据权利要求1所述的基于归一化互信息的多模态融合方法，其特征在于：

所述S1步中，任意单个模态数据集的数据设定为S＝[S₁,S₂,S₃,...,S_N],对应的标签为C＝[C₁,C₂,C₃,...,C_N],N表示该单个模态数据集的数据总数量；

所述S2步中，经过特征提取之后的特征数据X为X＝[X₁,X₂,X₃,...,X_N]。

3.根据权利要求1所述的基于归一化互信息的多模态融合方法，其特征在于：所述S3步中，判别架构模型采用伪逆矩阵运算来算出，是指：

判决架构的输出结果为：

Y＝F_fuseW

其中，是宽度学习系统的连接权重；为F_fuse的伪逆矩阵；

根据岭回归近似算出