[发明专利]基于多模态融合模型的提高视频问答精度方法及系统有效
| 申请号： | 202011205724.1 | 申请日： | 2020-11-02 |
| 公开（公告）号： | CN112559698B | 公开（公告）日： | 2022-12-09 |
| 发明（设计）人： | 徐卫志;蔡晓雅;曹洋;于惠;庄须强;刘志远;孙中志;赵晗;龙开放 | 申请（专利权）人： | 山东师范大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06V20/40;G06V10/80;G06V10/82;G06F40/289;G06N3/04 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 李圣梅 |
| 地址： | 250014 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种基于多模态融合模型的提高视频问答精度方法及系统，包括：采集视频数据和问题特征，获取视频问答的问题；从视频数据中提取视觉特征和字幕特征；将视觉特征和字幕特征进行融合处理，获得融合视觉特征和融合字幕特征；将融合视觉特征、融合字幕特征和问题特征输入多模态融合模型中进行训练，获得训练好的多模态融合模型；将视频问答的问题输入训练好的多模态融合模型，获得问题答案；根据问题的特点针对不同的问题聚焦不同的目标实体实例，提高了模型选择答案的准确性。 | ||
| 搜索关键词： | 基于 多模态 融合 模型 提高 视频 问答 精度 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东师范大学，未经山东师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011205724.1/，转载请声明来源钻瓜专利网。
