[发明专利]一种多级联结循环神经网络的图像描述方法有效
| 申请号： | 201611155798.2 | 申请日： | 2016-12-14 |
| 公开（公告）号： | CN106599198B | 公开（公告）日： | 2021-04-06 |
| 发明（设计）人： | 胡海峰;吴捷;张俊轩;杨梁;王伟轩 | 申请（专利权）人： | 广东顺德中山大学卡内基梅隆大学国际联合研究院;中山大学 |
| 主分类号： | G06F16/58 | 分类号： | G06F16/58;G06F16/51;G06N3/08 |
| 代理公司： | 广州粤高专利商标代理有限公司 44102 | 代理人： | 林丽明 |
| 地址： | 528300 广东省佛山市顺德区大良*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种多级联结循环神经网络的图像描述方法，该方法从标注语句训练集中构建属性词汇表，采用VGGNet模型作为CNN模型，采用带标签的数据集进行CNN的参数训练与调整，输入待描述的图像，得到语义属性预测概率，将图像送入CNN网络中提取出描述释义向量并计算出每个释义对应的权重，再根据释义向量以及其对应权重计算出上下文向量，将语义属性预测概率及上下文向量输入到多级联结的循环神经网络中，输出的结果的组合即为该图像的自然语言描述。 | ||
| 搜索关键词： | 一种 多级 联结 循环 神经网络 图像 描述 方法 | ||
【主权项】：
一种多级联结循环神经网络的图像描述方法，其特征在于，包括以下步骤：S1：从标注语句训练集中提取语义属性，构建属性词汇表；S2：采用VGGNet模型作为CNN初始模型，采用单标签的ImageNet数据集进行CNN的参数预训练，然后再用多标签数据集MS COCO进行CNN参数的精细调整；S3：输入待描述的图像，将其分割成不同的区域，输入到训练好的CNN中，将图像信息表达成高等级的语义信息，得到语义属性预测概率；S4：将图像送入CNN网络中提取出描述不同区域的释义向量；S5：根据前一步系统的隐变量的信息计算出每个释义对应的权重，再根据释义向量以及其对应权重计算出上下文向量；S6：将语义属性预测概率及上下文向量输入到多级联结的循环神经网络中，输出的结果的组合即为该图像的自然语言描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东顺德中山大学卡内基梅隆大学国际联合研究院;中山大学，未经广东顺德中山大学卡内基梅隆大学国际联合研究院;中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611155798.2/，转载请声明来源钻瓜专利网。
- 上一篇：数据采集交换引擎
- 下一篇：一种数据缓存与同步方法
