[发明专利]基于商品感知的多模态视频高光检测方法及其系统有效
| 申请号： | 202110397055.0 | 申请日： | 2021-04-13 |
| 公开（公告）号： | CN112801762B | 公开（公告）日： | 2021-08-03 |
| 发明（设计）人： | 赵洲;郭兆宇;周楚程;刘瑞涛;汪达舟 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06Q30/06 | 分类号： | G06Q30/06;G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种基于商品感知的多模态视频高光检测方法及其系统，属于视频高光检测领域。首先，分别进行视频预处理和文本预处理，通过视频预处理得到视频片段的自注意力语义表示，通过文本预处理获取视频标题、商品标签以及商品名称的词特征，构建并更新得到最终图，获取句法感知的文本信息表示；然后，两者通过共同注意力模块融合得到跨模态语义集合，使用含有sigmoid函数的全连接层计算每一个视频片段的置信度；最后，通过置信度筛选出候选片段来构建无向图，利用图卷积网络从无向图中预测出最终的高光索引。本发明通过将商品名称、标签和视频标题作为监督元素加入模型中，检测精度更高。 | ||
| 搜索关键词： | 基于 商品 感知 多模态 视频 检测 方法 及其 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110397055.0/，转载请声明来源钻瓜专利网。
