[发明专利]基于注意力扩展编解码网络的视频摘要方法在审
| 申请号： | 201910319879.9 | 申请日： | 2019-04-19 |
| 公开（公告）号： | CN110110140A | 公开（公告）日： | 2019-08-09 |
| 发明（设计）人： | 冀中;焦放;庞彦伟 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06F16/738 | 分类号： | G06F16/738;G06F16/783;H04N21/8549 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 杜文茹 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于注意力扩展编解码网络的视频摘要方法：将视频摘要看作是序列到序列学习过程，并且利用视频帧间的时域相关性，将SumMe或TVSum中的原始视频通过预训练网络得到视频帧特征序列，将视频帧特征序列作为注意力扩展编解码网络中编码器网络的输入，得到视频帧的语义信息序列，再通过乘性注意力的解码网络，得到对应每一视频帧的得分；然后将所有视频帧的得分构成摘要序列，通过回顾性编码器得到摘要序列的语义信息序列，构建全局语义判别损失，引入滑动平均模型，学习摘要序列与视频帧特征序列的语义相关性，得到保留原始视频重要信息的新的摘要序列，最后通过新的摘要序列来挑选所设定最终的摘要。本发明增强了模型的鲁棒性。 | ||
| 搜索关键词： | 视频帧 视频帧特征 注意力 编解码 语义 语义信息 原始视频 视频 编码器 网络 滑动平均 解码网络 学习过程 训练网络 重要信息 鲁棒性 乘性 构建 时域 引入 保留 全局 学习 | ||
【主权项】：
1.一种基于注意力扩展编解码网络的视频摘要方法，其特征在于，包括：将视频摘要看作是序列到序列学习过程，并且利用视频帧间的时域相关性，将SumMe或TVSum中的原始视频通过预训练网络得到视频帧特征序列，将视频帧特征序列作为注意力扩展编解码网络中编码器网络的输入，得到视频帧的语义信息序列，再通过乘性注意力的解码网络，得到对应每一视频帧的得分；然后将所有视频帧的得分构成摘要序列，通过回顾性编码器得到摘要序列的语义信息序列，构建全局语义判别损失，引入滑动平均模型，学习摘要序列与视频帧特征序列的语义相关性，得到保留原始视频重要信息的新的摘要序列，最后通过新的摘要序列来挑选所设定最终的摘要。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910319879.9/，转载请声明来源钻瓜专利网。
