[发明专利]基于注意力回归的视频时序句子定位方法及装置在审
| 申请号： | 201810367989.8 | 申请日： | 2018-04-23 |
| 公开（公告）号： | CN108647255A | 公开（公告）日： | 2018-10-12 |
| 发明（设计）人： | 朱文武;袁艺天 | 申请（专利权）人： | 清华大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06N3/04;G06N3/08 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 张润 |
| 地址： | 10008*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于注意力回归的视频时序句子定位方法及装置，其中，方法包括以下步骤：根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；根据视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；根据视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。该方法能够保持视频和句子中的上下文信息，提升了句子定位过程的效率，以达到提升句子定位速度、定位准确性和定位鲁棒性的目的。 | ||
| 搜索关键词： | 句子 注意力 加权特征 视频时序 视频 定位方法及装置 回归 句子内容 权值向量 视频片段 卷积神经网络 定位准确性 对视频片段 上下文信息 注意力机制 定位过程 定位结果 记忆网络 词向量 多模态 鲁棒性 权重 对称 三维 关联 输出 | ||
【主权项】：
1.一种基于注意力回归的视频时序句子定位方法，其特征在于，包括以下步骤：根据三维卷积神经网络和Glove词向量机制，并在此基础上利用双向长短时记忆网络对视频片段和句子进行编码，以表征视频片段内容和句子内容；根据所述视频片段内容和句子内容通过多模态注意力机制建立视频与句子之间的对称关联，以获取视频和句子的注意力权值向量与注意力加权特征；根据所述视频和句子的注意力权值向量或注意力加权特征，通过基于注意力权重的回归机制或基于注意力加权特征的回归机制输出得到视频时序句子的定位结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810367989.8/，转载请声明来源钻瓜专利网。
