[发明专利]基于判别式多模态深度置信网多模态数据融合方法和系统有效
申请号: | 201410064933.7 | 申请日: | 2014-02-25 |
公开(公告)号: | CN103838836A | 公开(公告)日: | 2014-06-04 |
发明(设计)人: | 王亮;谭铁牛;王威;黄岩 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 宋焰琴 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法,该方法包括以下步骤:建立判别式多模态深度置信网;对于多个模态数据对应的深度置信网,利用限制波尔兹曼机,获得深度置信网优化后的网络权重;采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数,获得优化后的玻尔兹曼机权重,得到最终的判别式多模态深度置信网模型;向深度置信网模型输入待融合的多模态数据,得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息,判别式的挖掘不同模态数据之间的关联性,从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。 | ||
搜索关键词: | 基于 判别式 多模态 深度 置信 网多模态 数据 融合 方法 系统 | ||
【主权项】:
一种基于判别式多模态深度置信网的多模态数据融合方法,其特征在于,该方法包括以下步骤:步骤1、建立判别式多模态深度置信网,并设置网络的层数和节点数;步骤2、对于多个模态数据对应的深度置信网,分别把相邻的两层结构看作一个限制的波尔兹曼机,采用无监督地自底向上的逐层训练方法来训练网络,获得多个模态数据对应的深度置信网优化后的网络权重;步骤3、把多个模态数据对应的深度置信网中的隐含层处理结果输入到判别式多模态玻尔兹曼机中进行数据融合,并采用交替优化的策略来最小化该玻尔兹曼机的目标函数来获得优化后的玻尔兹曼机权重,从而得到最终的判别式多模态深度置信网模型;步骤4、向所述判别式多模态深度置信网模型输入待融合的多模态数据,得到对应的融合结果。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410064933.7/,转载请声明来源钻瓜专利网。