[发明专利]利用问题-知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法在审
| 申请号： | 201910965525.1 | 申请日： | 2019-10-11 |
| 公开（公告）号： | CN110704601A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 赵洲;张品涵;金韦克;陈默沙 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F16/78;G06N3/04;G06K9/00 |
| 代理公司： | 33200 杭州求是专利事务所有限公司 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用问题‑知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法，包括如下步骤：针对一段视频，利用Faster‑RCNN得到视频对象集；在外部知识库中检索视频对象集对应的注释文本，得到外部知识；使用Doc2Vec提取外部知识的语义特征，得到视频的知识特征集；针对问题，利用嵌入层(embedding layer)将输入单词转换为词嵌入向量；将词嵌入向量输入渐进式时空注意力网络，生成答案；本发明通过使用附加信息，可以回答更具体的问题，例如一些常识性问题；将外部知识与问题结合起来，在空间和时间维度上引导渐进式的视频注意力，学习细粒度联合视频表示以进行答案预测。 | ||
| 搜索关键词： | 视频 注意力 外部 向量 嵌入 知识库 时空 答案 附加信息 检索视频 时间维度 视频表示 视频对象 输入单词 语义特征 知识引导 注释文本 常识性 对象集 嵌入层 特征集 细粒度 网络 转换 预测 联合 学习 | ||
【主权项】：
1.利用问题-知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法，其特征在于，包括如下步骤：/nS1：针对一段视频，利用Faster-RCNN得到视频对象集；/nS2：在外部知识库中检索视频对象集对应的注释文本，得到外部知识；/nS3：使用Doc2Vec提取外部知识的语义特征，得到视频的知识特征集；/nS4：针对问题，利用嵌入层将输入单词转换为词嵌入向量；/nS5：构建渐进式时空注意力网络，包括问题感知知识注意力单元、时空注意力单元和LSTM神经网络；将步骤S4得到的词嵌入向量输入到LSTM神经网络中，得到LSTM的隐藏状态；将步骤S3得到的视频的知识特征集和LSTM的隐藏状态输入到问题感知知识注意力单元中，得到单词的外部知识表达；将单词的外部知识表达、LSTM隐藏状态和视频中的所有样本帧输入到时空注意力单元，生成针对问题的答案。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910965525.1/，转载请声明来源钻瓜专利网。
