[发明专利]基于多层语义监督式注意力模型的细粒度零样本分类方法在审
| 申请号： | 201811115665.1 | 申请日： | 2018-09-25 |
| 公开（公告）号： | CN109447115A | 公开（公告）日： | 2019-03-08 |
| 发明（设计）人： | 冀中;于雪洁 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 杜文茹 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于多层语义监督式注意力模型的细粒度零样本分类方法，利用卷积神经网络提取在细粒度图像中所选定部位的局部视觉特征，利用类别的文本描述信息作为类别语义特征对细粒度图像的局部视觉特征的分类进行监督，为细粒度图像的局部视觉特征逐步赋予权重；用类别语义特征引导映射到隐空间局部视觉特征，得到多层语义监督注意力模型的损失函数；将细粒度图像的全局视觉特征与经过多层语义监督注意力模型赋予权重后的局部视觉特征结合，作为图像的新的视觉特征；将类别语义特征嵌入到新的视觉特征空间，将多层语义监督注意力网络输出的视觉特征与语义特征进行对齐，利用softmax函数进行分类。本发明可输入提取好的视觉特征和类别语义特征，输出图像的分类结果。 | ||
| 搜索关键词： | 细粒度 语义 局部视觉 视觉特征 语义特征 多层 注意力模型 图像 监督 样本分类 权重 卷积神经网络 分类结果 输出图像 损失函数 特征结合 网络输出 文本描述 对齐 分类 映射 赋予 嵌入 注意力 全局 | ||
【主权项】：
1.一种基于多层语义监督式注意力模型的细粒度零样本分类方法，其特征在于，首先，利用卷积神经网络提取在细粒度图像中所选定部位的局部视觉特征，利用类别的文本描述信息作为类别语义特征对所述细粒度图像的局部视觉特征的分类进行监督，为细粒度图像的局部视觉特征逐步赋予权重，得到语义监督注意力模型，其中，与语义信息相关性越高的局部视觉特征，对应的权重就越大；用类别语义特征引导映射到隐空间局部视觉特征，得到多层语义监督注意力模型的损失函数；将细粒度图像的全局视觉特征与经过多层语义监督注意力模型赋予权重后的局部视觉特征结合，作为图像的新的视觉特征；最后将类别语义特征嵌入到新的视觉特征空间，将多层语义监督注意力网络输出的视觉特征与语义特征进行对齐，利用softmax函数进行分类，得到图像分类。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811115665.1/，转载请声明来源钻瓜专利网。
