[发明专利]一种基于跨模态异质图神经网络的视频问答方法在审
申请号: | 202210680394.4 | 申请日: | 2022-06-15 |
公开(公告)号: | CN114969298A | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 刘赟;田鹏;李浪;沈仕巡;周克;冯华仲 | 申请(专利权)人: | 茅台学院 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/732;G06F16/75;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 贵阳中新专利商标事务所 52100 | 代理人: | 胡绪东 |
地址: | 56450*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于跨模态异质图神经网络的视频问答方法,该方法为:将视频问答任务中的信息分为视频帧、视频剪辑和问题语句,分别将它们提取为对应特征,利用多头多跳注意力对三种类型的特征进行跨模态交互;基于跨模态特征构建多流时空语义图,图中的每个节点对应于一个视频帧、剪辑或问题单词;在异质图上利用图神经网络执行模态内和模态间的同步推理,生成局部推理向量;基于多模态双线性池化模型融合视频和问题信息,实现整体的特征关联并生成全局向量;将局部和全局向量集成为一个多模态的联合特征向量,用于答案推导。本发明利用细粒度的关联信息,并根据问题类型利用分类或回归技术实现答案预测,显著提高了视频问答的准确性。 | ||
搜索关键词: | 一种 基于 跨模态异质图 神经网络 视频 问答 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于茅台学院,未经茅台学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202210680394.4/,转载请声明来源钻瓜专利网。
- 上一篇:一种建筑工程咨询服务平台
- 下一篇:一种深坑挖斗洗砂机及其使用方法