[发明专利]一种基于模态变换与文本归纳的图像描述生成方法有效
| 申请号： | 201910357364.8 | 申请日： | 2019-04-29 |
| 公开（公告）号： | CN110033008B | 公开（公告）日： | 2023-08-04 |
| 发明（设计）人： | 王瀚漓;王含章 | 申请（专利权）人： | 同济大学 |
| 主分类号： | G06V10/44 | 分类号： | G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06N3/0464 |
| 代理公司： | 上海科盛知识产权代理有限公司 31225 | 代理人： | 翁惠瑜 |
| 地址： | 200092 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于模态变换与文本归纳的图像描述生成方法，该方法包括以下步骤：1)使用基于卷积神经网络的目标识别模型，将待描述图像划分为多个基于感兴趣区域的子块，提取子块的视觉特征；2)使用第一长短时记忆模型对每个子块的视觉特征进行解码，通过将视觉信息转换为语义信息实现模态变换，生成各子块的文本描述；3)使用第二长短时记忆模型对每个子块的文本描述进行再编码，提取各子块的语义特征；4)使用双向层级长短时记忆模型融合各子块的语义特征，获得融合语义特征；5)以所述融合语义特征作为第三长短时记忆模型的输入，生成待描述图像的文本描述。与现有技术相比，本发明具有准确度高等优点。 | ||
| 搜索关键词： | 一种 基于 变换 文本 归纳 图像 描述 生成 方法 | ||
【主权项】：
1.一种基于模态变换与文本归纳的图像描述生成方法，其特征在于，该方法包括以下步骤：1)使用基于卷积神经网络的目标识别模型，将待描述图像划分为多个基于感兴趣区域的子块，提取子块的视觉特征；2)使用第一长短时记忆模型对每个子块的视觉特征进行解码，通过将视觉信息转换为语义信息实现模态变换，生成各子块的文本描述；3)使用第二长短时记忆模型对每个子块的文本描述进行再编码，提取各子块的语义特征；4)使用双向层级长短时记忆模型融合各子块的语义特征，获得融合语义特征；5)以所述融合语义特征作为第三长短时记忆模型的输入，生成待描述图像的文本描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于同济大学，未经同济大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910357364.8/，转载请声明来源钻瓜专利网。
