[发明专利]利用结合视频描述的分层自注意力网络总结视频的方法有效
| 申请号： | 201910153049.3 | 申请日： | 2019-02-28 |
| 公开（公告）号： | CN109889923B | 公开（公告）日： | 2021-03-26 |
| 发明（设计）人： | 赵洲;王昕然 | 申请（专利权）人： | 杭州一知智能科技有限公司 |
| 主分类号： | H04N21/8549 | 分类号： | H04N21/8549;H04N21/845;G06N3/08;G06N3/04;G06K9/00 |
| 代理公司： | 无锡市汇诚永信专利代理事务所(普通合伙) 32260 | 代理人： | 王闯 |
| 地址： | 311200 浙江省杭州市萧山*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用结合视频描述的分层自注意力网络解决视频总结任务的方法，主要包括如下步骤：1)设计一种分层自注意力网络模型与增强标题生成器模型来获取视频中所有帧的综合重要程度分数并提高重要程度分数准确度；2)训练得到最终的分层自注意力网络模型，利用该模型生成视频总结任务的答案。相比于一般的视频总结任务解决方案，本发明利用了视频描述信息，能够更好地完成视频总结任务。本发明在视频总结任务中所取得的效果相比于传统的方法更好。 | ||
| 搜索关键词： | 利用 结合 视频 描述 分层 注意力 网络 总结 方法 | ||
【主权项】：
1.利用结合视频描述的分层自注意力网络总结视频的方法，用于解决视频总结任务，其特征在于，包括如下步骤：1)设计一种分层自注意力网络模型，利用该分层自注意力网络模型获得视频中所有视频分段的重要程度分数与视频中所有帧的综合重要程度分数；2)设计一种增强标题生成器模型，利用该增强标题生成器模型结合步骤1)中获取的视频中所有视频分段的重要程度分数，获取对于视频的自然语言描述；3)设计相应梯度函数对步骤2)设计的增强标题生成器模型进行训练，将训练后得到的步骤2)对应的视频中所有视频帧的综合重要程度分数返回给步骤1)设计的分层自注意力网络模型，设计损失函数对步骤1)设计的分层自注意力网络模型进行训练，利用训练出的分层自注意力网络模型获取视频中的重要帧作为视频总结任务的结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州一知智能科技有限公司，未经杭州一知智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910153049.3/，转载请声明来源钻瓜专利网。
