[发明专利]基于多模态深度迁移学习机制的多源异构数据融合系统

权利要求书

1.一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于包括：信号采集器、处理器以及结果输出模块；

所述信号采集器：用于获取检测对象的多源异构信息，包括多个模态的源信息和目标信息；

所述处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，其中单模态源深度迁移学习模型是通过源数据集预先训练得到的，所述目标深度迁移学习模型是通过目标数据集训练得到的，且单模态源深度迁移学习模型中未完全连接的层和参数被迁移至目标深度迁移学习模型中的对应层次中；处理器还将多个目标深度迁移学习模型输出的特征进行选择和融合，然后得到多模态特征并采用分类器或回归器进行分类或回归操作；

所述结果输出模块：用于输出分类器或回归器的判断结果；

所述信号采集器采集有三个模态的源信息和目标信息，包括人脸信号、步态信号和语音信号。

2.根据权利要求1所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述单模态源深度迁移学习模型包括两层卷积层、两层池化层和三层全连接层。

3.根据权利要求2所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述目标深度迁移学习模型中包括两层卷积层、两层池化层、全局池化层、第一全连接层、批量规范化层、舍弃层和第二连接层，所述两层卷积层、两层池化层是由训练好的单模态源深度迁移学习模型直接迁移而来。

4.根据权利要求3所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述卷积层描述为：

其中，M_j代表着对输入特征图进行选择，代表第l-1层的第i个特征图，对应为第l层中的第i个输入，代表着第l层输出的第j个特征图，代表着第l层中第i个输入对应第j个输出的核函数，代表第l层对应第j个输出的初始偏置。

5.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述池化层描述为：

其中，代表着第l层池化输出的第j个特征图，pool是一个用来求领域平均值或最大值的函数。

6.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述批量规范化层中通过加入了β和γ两个训练参数实现批量规范，使其输出均值为0，方差为1，具体过程为：

通过批量规范化层可以得到输出B＝(y₁,y₂,y₃···y_n-1,y_n)，其中x_j表示第一全连接层的第j个输出变量，E(F_c1)表示第一全连接层所有输出的平均值，Var(F_c1)表示第一全连接层所有输出的方差，为中间变量，y_j为批量规范化层的第j个输出变量。

7.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述舍弃层用于减少神经元个数以防止过拟合，具体表示为：

r_j～Bernoulli(p)；

其中，r是满足伯努利分布的独立随机变量，每一个都成为1的概率为p，w_i和b_i分别是权重值和偏置，B为输入变量，为中间变量，f是激活函数，z_i为舍弃层的第i个输出，通过这一层我们可以得到输出特征图：

D＝(z₁,z₂,z₃···z_n-1,z_n)。