[发明专利]一种基于双重注意力机制层次网络的图像语义生成方法有效
| 申请号： | 201910766684.9 | 申请日： | 2019-08-20 |
| 公开（公告）号： | CN110490254B | 公开（公告）日： | 2023-04-18 |
| 发明（设计）人： | 郭杨;刘康;佐江宏;常青;管志斌;高鑫;关瑞荣;郭素芳 | 申请（专利权）人： | 山西潞安环保能源开发股份有限公司五阳煤矿;中国矿业大学（北京） |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06V10/82;G06V10/20;G06N3/0442;G06N3/0464;G06N3/08 |
| 代理公司： | 太原华弈知识产权代理事务所 14108 | 代理人： | 郭培培 |
| 地址： | 046102 山*** | 国省代码： | 山西;14 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出一种基于序列化双重注意力机制层次网络的图像语义生成方法，该方法基于ResNet‑152网络模型、LSTM的双层堆栈RNN网络，不仅可以检测出图像的粗粒度特征信息，还可以检测出图像子区域中的细粒度特征信息，使用粗粒度‑细粒度的层次网络结构生成详细的图像语义描述信息，提高图像语义信息生成方法的鲁棒性。 | ||
| 搜索关键词： | 一种 基于 双重 注意力 机制 层次 网络 图像 语义 生成 方法 | ||
【主权项】：
1.一种基于双重注意力机制层次网络的图像语义生成方法，其实现包括以下步骤：/n步骤1、原始图像采集及预处理，对采集的原始图像进行尺度归一化，得到大小和分辨率统一的图像，将图像大小设置为224X224像素；/n步骤2、获取粗粒度视觉特征信息：/n1）、使用ResNet-152网络模型从每幅原始图像中提取出的全局图像特征维度向量，并设置固定维度为2048维；/n2）、使用ResNet-152网络模型通过池化层的平均池化操作提取子空间特征映射图集合，平均池化层窗口大小为14X14像素；/n步骤3、获得细粒度视觉特征信息：/n将预处理过的原始图像作为Faster-RCNN网络模型的输入，得到原始图像中的目标特征和属性特征，合并得到细粒度视觉特征信息，目标特征和属性特征的特征向量维度为2048维，所述的目标特征为原始图像中检测目标的边界框，所述属性特征为原始图像中检测目标的类别标签；/n步骤4、使用序列化双重注意力机制网络模型融合不同细粒度的图像特征；/n步骤5、将步骤4的输出结果输入基于LSTM的双层堆栈RNN网络的语义生成模型，生成最终的图像语义描述文本，并且使用LSTM结构单元处理累积的长序列信息。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山西潞安环保能源开发股份有限公司五阳煤矿;中国矿业大学（北京），未经山西潞安环保能源开发股份有限公司五阳煤矿;中国矿业大学（北京）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910766684.9/，转载请声明来源钻瓜专利网。
