[发明专利]利用知识库渐进时空注意力网络解决视频问答任务的方法有效
| 申请号： | 201910080580.2 | 申请日： | 2019-01-28 |
| 公开（公告）号： | CN109829049B | 公开（公告）日： | 2021-06-01 |
| 发明（设计）人： | 赵洲;朱超凡 | 申请（专利权）人： | 杭州一知智能科技有限公司 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F16/33;G06F16/783;G06F16/73;G06K9/00;G06N3/04 |
| 代理公司： | 无锡市汇诚永信专利代理事务所(普通合伙) 32260 | 代理人： | 王闯 |
| 地址： | 310052 浙江省杭州市萧山*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用知识库渐进时空注意力网络解决视频问答任务的方法，主要包括如下步骤：1)针对于所给视频、问题，获取问题第n个单词的隐层状态输出、结合了知识库信息的问题隐层状态输出、含有时空注意力信息的视频编码。2)利用得到的问题第n个单词的隐层状态输出、结合了知识库信息的问题隐层状态输出、含有时空注意力信息的视频编码，获取视频问答的答案。相比于一般的视频问答解决方案，本发明利用了知识库渐进时空注意力网络，能够更好地利用问题相关视频帧与问题相关视频画面区域。本发明在视频问答任务中所取得的效果相比于传统的方法更好。 | ||
| 搜索关键词： | 利用 知识库 渐进 时空 注意力 网络 解决 视频 问答 任务 方法 | ||
【主权项】：
1.利用知识库渐进时空注意力网络解决视频问答任务的方法，用于解决视频问答任务，其中视频问答任务包括用户输入的问题，由帧图像组成的视频，其特征在于包括如下步骤：1)设计一种问题方面的知识库注意力机制对视频问答任务中用户输入的问题进行编码，获取结合了知识库信息的问题隐层状态输出和问题每个单词的隐层状态输出；2)利用步骤1)中设计的问题方面的知识库注意力机制的输出，设计一种时空注意力单元对视频问答任务中的视频进行编码，获取含有时空注意力信息的各个时刻视频编码；3)利用步骤2)获得的含有时空注意力信息的各个时刻视频编码，获取对应的含有时空注意力信息的视频帧第n次隐层状态输出；利用步骤1)中获取的结合了知识库信息的问题隐层状态输出、问题每个单词的隐层状态输出与获取的含有时空注意力信息的视频帧第n次循环隐层状态输出，设计一种答案生成器，利用该答案生成器获得视频问答任务的答案。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州一知智能科技有限公司，未经杭州一知智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910080580.2/，转载请声明来源钻瓜专利网。
