[发明专利]一种社交策展网络上采集（Pin）的多模态表示方法在审
| 申请号： | 201810505633.6 | 申请日： | 2018-05-24 |
| 公开（公告）号： | CN108876643A | 公开（公告）日： | 2018-11-23 |
| 发明（设计）人： | 毋立芳;张岱;杨博文;简萌;刘海英;祁铭超;贾婷 | 申请（专利权）人： | 北京工业大学 |
| 主分类号： | G06Q50/00 | 分类号： | G06Q50/00;G06N3/04 |
| 代理公司： | 北京思海天达知识产权代理有限公司 11203 | 代理人： | 刘萍 |
| 地址： | 100124 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种社交策展网络上采集(Pin)的多模态表示方法涉及智能媒体计算和大数据分析技术领域。对于给定采集，其图片经图像缩放、图像裁剪等预处理后；输入到一个在自动标注的图像数据集上训练的卷积神经网络(CNN)中，CNN的前向传播完成后，提取中间层激活值作为图像表示；采集描述中的每个词由一个在语料库上完成训练的word2vec映射为词向量，所有词向量经池化后得到文本表示；图像及文本表示两种模态的表示一同输入到一个完成训练的多模态深度玻尔兹曼机中，推断的顶层激活概率将作为采集的多模态联合表示；本发明将图片、文本两种不同模态的数据融合形成了统一的表示空间，并合理地处理了缺失值问题，是十分有效的采集多模态联合表示方法。 | ||
| 搜索关键词： | 多模态 采集 文本表示 词向量 模态 预处理 激活 卷积神经网络 图像数据集 前向传播 数据融合 图像表示 图像裁剪 图像缩放 智能媒体 自动标注 大数据 语料库 中间层 顶层 映射 池化 推断 网络 文本 联合 图像 概率 图片 分析 统一 | ||
【主权项】：
1.一种社交策展网络上采集(Pin)的多模态表示方法，其特征在于，包括以下步骤：对于给定采集，图像经图像缩放、图像裁剪预处理后；输入到一个在自动标注的图像数据集上训练的卷积神经网络CNN中，CNN的前向传播完成后，提取全连接层2激活值作为图像表示；采集描述中的每个词由一个在语料库上完成训练的word2vec映射为词向量，所有词向量经池化后得到文本表示；图像及文本表示两种模态的表示一同输入到一个完成训练的多模态深度玻尔兹曼机DBM中，推断的顶层激活概率将作为采集的多模态联合表示；CNN包括5个卷积层和3个全连接层，结构如下：卷积层1：输入227*227*3，卷积核11*11*3卷积层2：输入27*27*96，卷积核5*5*48卷积层3：输入13*13*256，卷积核3*3*256卷积层4：输入13*13*384，卷积核3*3*192卷积层5：输入13*13*384，卷积核3*3*192全连接层1：输入6*6*256，输出4096全连接层2：输入4096输出4096全连接层3：输入4096输出33。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京工业大学，未经北京工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810505633.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种车险理赔智能风控系统
- 下一篇：一种基于社交网络的相似账号计算方法及装置
