[发明专利]基于双向双注意力机制图像描述方法有效
| 申请号： | 201910159878.2 | 申请日： | 2019-03-04 |
| 公开（公告）号： | CN109919221B | 公开（公告）日： | 2022-07-19 |
| 发明（设计）人： | 张丽红;陶云松 | 申请（专利权）人： | 山西大学 |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06V10/82;G06K9/62 |
| 代理公司： | 太原市科瑞达专利代理有限公司 14101 | 代理人： | 李富元 |
| 地址： | 030051 山*** | 国省代码： | 山西;14 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 基于双向双注意力机制图像描述方法，基于双向双注意力机制图像描述方法，图片经过卷积神经网络提取图像特征；卷积神经网络将最后一层卷积层的图像特征作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；注意力机制得到上一次双向长短期记忆网络的隐层状态，双向长短期记忆网络使用上一次的隐层状态，显著图像信息以及本次的输入预测出当前的隐层状态，再将和输入到注意力机制中得到当前显著信息；双向注意力网络根据前向隐层状态，显著图像信息，后向隐层状态，显著信息一起进行预测并进行图像描述。 | ||
| 搜索关键词： | 基于 双向 注意力 机制 图像 描述 方法 | ||
【主权项】：
1.基于双向双注意力机制图像描述方法，其特征在于：按照如下步骤进行步骤一、图片经过卷积神经网络提取图像特征；步骤二、卷积神经网络将最后一层卷积层的图像特征V作为注意力机制的输入，输入到含有注意力机制的双向长短期记忆网络中；步骤三、前向长短期记忆网络中，注意力机制得到上一次双向长短期记忆网络的隐层状态ht‑1，双向长短期记忆网络使用上一次的隐层状态ht‑1，显著图像信息Cft‑1以及本次的输入xt预测出当前的隐层状态ht，再将ht和V输入到注意力机制中得到当前显著信息Cbt；步骤四、后向长短期记忆网络过程与以上相同；步骤五、双向注意力网络根据前向隐层状态ht，显著图像信息Cft，后向隐层状态gt，显著信息Cbt一起进行预测并进行图像描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山西大学，未经山西大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910159878.2/，转载请声明来源钻瓜专利网。
