[发明专利]基于判别式多模态深度置信网多模态数据融合方法和系统

说明书

技术领域

本发明涉及模式识别与机器学习领域，特别涉及一种基于判别式多模态深度置信网的多模态数据融合方法和系统。

背景技术

一个概念或者内容通常可以被多个模态数据来表示，例如，图像和其相应的文字注释是表示相同内容的两种模态数据；当人们在阅读时，嘴唇的动作和相应的声音也是两种对应的模态数据。大量的工作已经证实，与单个模态数据相比，多个模态数据可以为概念提供更为全面的描述，从而可以潜在地帮助一些常见的模式识别问题，例如分类和检索。多模态数据融合的一般做法是将多模态数据融合为同一个表达，然后这个共同表达可以进一步用于后续的分类或者检索任务。

现有的多模态数据融合工作可以大致分为两类：第一类是利用“浅”层的融合模型，即模型只包括输入和共同表达这两层结构。实际上，由于各个模态都包含其模态相关的特性，会对数据融合过程带来负面的影响，从而会很大程度上降低最后数据融合的质量；另外一类工作是使用“深”层模型进行数据融合，虽然这些模型可以很好的处理多模态数据的复杂特性，但是现有大量的模型都是生成式的模型，并不能很好的适用于判别性的任务，例如分类和检索。

发明内容

本发明的目的是提供一种基于判别式多模态深度置信网的多模态数据融合方法和系统。为了增强多模态数据融合结果的判别性，本发明在传统无监督多模态玻尔兹曼机的基础上引入有监督的类别信息，使得融合结果更适用于分类和检索等判别型的任务。

根据本发明的一方面，本发明提出了一种基于判别式多模态深度置信网的多模态数据融合方法，该方法包括以下步骤：

步骤1、建立判别式多模态深度置信网，并设置网络的层数和节点数；

步骤2、对于多个模态数据对应的深度置信网，分别把相邻的两层结构看作一个限制的波尔兹曼机，采用无监督地自底向上的逐层训练方法来训练网络，获得多个模态数据对应的深度置信网优化后的网络权重；

步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果输入到判别式多模态玻尔兹曼机中进行数据融合，并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重，从而得到最终的判别式多模态深度置信网模型；

步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据，得到对应的融合结果。

根据本发明的另一方面，本发明还提出了一种基于判别式多模态深度置信网的多模态数据融合系统，所述系统包括：网络建立模块、网络权重优化模块和数据融合模块，其中：

所述网络建立模块，用于建立判别式多模态深度置信网，并设置网络的层数和节点数；

所述网络权重优化模块，用于对于多个模态数据对应的深度置信网，分别把相邻的两层结构看作一个限制的玻尔兹曼机，采用无监督的自底向上的逐层训练方法来训练网络，以获得多个模态数据对应的深度置信网优化后的网络权重；对于判别式多模态玻尔兹曼机，采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重，从而得到最终的判别式多模态深度置信网模型；

所述数据融合模块，用于向所述判别式多模态深度置信网模型输入待融合的多模态数据，得到输出层节点值，即为多模态数据融合结果。

由于本发明通过推广无监督多模态深度模型适以最大间隔方式来解决多模态数据融合，从而可以使得融合结果更具判别性。同时在训练多个模态相关的置信网权重阶段，还可以利用大量无类别标签的模态数据。

附图说明

图1是本发明基于判别式多模态深度置信网的多模态数据融合方法流程图。

图2是本发明一实施例的解决图像和文本融合问题的模型图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明自，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

根据本发明的一方面，提出一种基于判别式多模态深度置信网的多模态数据融合方法，能够广泛地应用于多模态数据的分类和检索问题。

图1示出了本发明提出的基于判别式多模态深度置信网的多模态数据融合方法的流程图，如图1所示，所述方法包括以下步骤：

步骤1、建立判别式多模态深度置信网，并设置网络的层数和节点数；