[发明专利]融合视觉注意力和语义注意力的图像字幕生成方法及系统有效
| 申请号： | 201710806115.3 | 申请日： | 2017-09-08 |
| 公开（公告）号： | CN107608943B | 公开（公告）日： | 2020-07-28 |
| 发明（设计）人： | 吴春雷;魏燚伟;储晓亮;王雷全;崔学荣 | 申请（专利权）人： | 中国石油大学（华东） |
| 主分类号： | G06F17/18 | 分类号： | G06F17/18;G06K9/46;G06N3/04;G06N3/08 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 266580 山东省*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了融合视觉注意力和语义注意力的图像字幕生成方法及系统，通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；建立LSTM模型，将每个待生成字幕的图像对应的预先标注文本描述传入LSTM模型，得到时序信息；结合图像特征集合和时序信息，生成视觉注意力模型；结合图像特征集合、时序信息和前一时序的单词，生成语义注意力模型；根据视觉注意力模型和语义注意力模型，生成自动平衡策略模型；根据图像特征集合和待生成字幕的图像对应的文本，建立gLSTM模型；根据gLSTM模型和自动平衡策略模型，利用多层感知机模型MLP生成待生成字幕的图像对应的单词；将得到的所有单词进行串联组合，产生字幕。 | ||
| 搜索关键词： | 融合 视觉 注意力 语义 图像 字幕 生成 方法 系统 | ||
【主权项】：
一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，包括：步骤(1)：通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；步骤(2)：建立LSTM模型，将每个待生成字幕的图像对应的预先标注文本描述传入LSTM模型，得到时序信息；步骤(3)：结合步骤(1)的图像特征集合和步骤(2)的时序信息，生成视觉注意力模型；步骤(4)：结合步骤(1)的图像特征集合、步骤(2)的时序信息和前一时序的单词，生成语义注意力模型；步骤(5)：根据步骤(3)的视觉注意力模型和步骤(4)的语义注意力模型，生成自动平衡策略模型；步骤(6)：根据步骤(1)的图像特征集合和待生成字幕的图像对应的文本，建立gLSTM模型；步骤(7)：根据步骤(6)建立的gLSTM模型和步骤(5)的自动平衡策略模型，利用多层感知机模型MLP生成待生成字幕的图像对应的单词；步骤(8)：重复步骤(2)‑(7)，直到检测到停止标识，将得到的所有单词进行串联组合，产生字幕。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国石油大学（华东），未经中国石油大学（华东）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710806115.3/，转载请声明来源钻瓜专利网。
