[发明专利]基于判别式多模态深度置信网多模态数据融合方法和系统

权利要求书

1.一种基于判别式多模态深度置信网的多模态数据融合方法，其特征在于，该方法包括以下步骤：

步骤1、建立判别式多模态深度置信网，并设置网络的层数和节点数；

步骤2、对于多个模态数据对应的深度置信网，分别把相邻的两层结构看作一个限制的波尔兹曼机，采用无监督地自底向上的逐层训练方法来训练网络，获得多个模态数据对应的深度置信网优化后的网络权重；

步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果输入到判别式多模态玻尔兹曼机中进行数据融合，并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重，从而得到最终的判别式多模态深度置信网模型；

步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据，得到对应的融合结果。

2.根据权利要求1所述的方法，其特征在于，所述判别式多模态深度置信网为多层网络结构。

3.根据权利要求1所述的方法，其特征在于，所述判别式多模态深度置信网包括多个模态，并设置网络的层数和节点数对应的深度置信网和一个判别式波尔兹曼机。

4.根据权利要求1所述的方法，其特征在于，所述判别式多模态深度置信网的输入层为训练多模态数据，输出层表示训练多模态数据的融合结果，所述判别式多模态深度置信网具有网络权重，以根据当前层节点值获得下一层节点值。

5.根据权利要求1所述的方法，其特征在于，所述判别式多模态玻尔兹曼机是由多模态数据的最高隐含层、共享隐含层和类别层组成的三层网络结构。

6.根据权利要求1所述的方法，其特征在于，所述玻尔兹曼机的目标函数包括两项内容：真实类别与错误类别的条件概率之间差值的合页损失，和多模态数据及其类别的负对数似然函数。

7.一种基于判别式多模态深度置信网的多模态数据融合系统，其特征在于，所述系统包括：网络建立模块、网络权重优化模块和数据融合模块，其中：

所述网络建立模块，用于建立判别式多模态深度置信网，并设置网络的层数和节点数；

所述网络权重优化模块，用于对于多个模态数据对应的深度置信网，分别把相邻的两层结构看作一个限制的玻尔兹曼机，采用无监督的自底向上的逐层训练方法来训练网络，以获得多个模态数据对应的深度置信网优化后的网络权重；对于判别式多模态玻尔兹曼机，采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重，从而得到最终的判别式多模态深度置信网模型；

所述数据融合模块，用于向所述判别式多模态深度置信网模型输入待融合的多模态数据，得到输出层节点值，即为多模态数据融合结果。

8.根据权利要求7所述的系统，其特征在于，所述判别式多模态深度置信网为多层网络结构。

9.根据权利要求7所述的系统，其特征在于，所述判别式多模态深度置信网包括多个模态，并设置网络的层数和节点数对应的深度置信网和一个判别式波尔兹曼机。

10.根据权利要求7所述的系统，其特征在于，所述判别式多模态深度置信网的输入层为训练多模态数据，输出层表示训练多模态数据的融合结果，所述判别式多模态深度置信网具有网络权重，以根据当前层节点值获得下一层节点值。