[发明专利]基于双向单注意力机制图像描述方法在审
| 申请号： | 201910159879.7 | 申请日： | 2019-03-04 |
| 公开（公告）号： | CN109902750A | 公开（公告）日： | 2019-06-18 |
| 发明（设计）人： | 张丽红;陶云松 | 申请（专利权）人： | 山西大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06K9/46 |
| 代理公司： | 太原市科瑞达专利代理有限公司 14101 | 代理人： | 李富元 |
| 地址： | 030051 山*** | 国省代码： | 山西;14 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及图像描述领域，具体是一种基于双向单注意力机制图像描述方法。基于双向单注意力机制图像描述方法，图片经过卷积神经网络提取图像特征；将卷积神经网络最后一层卷积层的图像特征作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；前向长短期记忆网络中，注意力机制得到上一次的隐层状态和图片特征，输出图像的显著信息；同样在后向网络中，隐层状态和图片特征一起预测得到显著信息；显著图像信息和都分别作为前向和后向长短期记忆网络的输入，整合前向和后向的隐层状态与，双向注意力网络在同时获取前向和后向的图像显著信息与隐层状态，产生图像描述。 | ||
| 搜索关键词： | 注意力机制 图像描述 后向 前向 隐层 记忆网络 显著信息 卷积神经网络 图片特征 提取图像特征 输出图像 图像特征 图像信息 卷积 整合 注意力 网络 图像 预测 图片 | ||
【主权项】：
1.基于双向单注意力机制图像描述方法，其特征在于：按照如下的步骤进行步骤一、图片经过卷积神经网络提取图像特征；步骤二、将卷积神经网络最后一层卷积层的图像特征V作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；步骤三、前向长短期记忆网络中，注意力机制得到上一次LSTM的隐层状态ht‑1和图片特征V，输出图像的显著信息Cft；步骤四、同样在后向网络中，隐层状态g和图片特征V一起预测得到显著信息Cbt；步骤五、显著图像信息Cft和Cbt都分别作为前向和后向长短期记忆网络的输入，双向LSTM整合前向和后向的隐层状态ht与gt，双向注意力网络在同时获取前向和后向的图像显著信息与隐层状态，产生图像描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山西大学，未经山西大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910159879.7/，转载请声明来源钻瓜专利网。
