[发明专利]多模态细粒度混合方法、系统、设备和存储介质有效
| 申请号： | 202110094267.1 | 申请日： | 2021-01-25 |
| 公开（公告）号： | CN112819052B | 公开（公告）日： | 2021-12-24 |
| 发明（设计）人： | 廖清;廖鑫鑫;漆舒汉;蒋琳;王轩 | 申请（专利权）人： | 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院） |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 郭浩辉;颜希文 |
| 地址： | 518055 广东省深圳市南*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及机器视觉技术领域，公开了一种多模态细粒度混合方法、系统、设备和存储介质，所述多模态细粒度混合方法包括：从多模态图文数据中提取数据特征，并获取数据特征的各个组成成分；数据特征包括视觉区域特征和文本单词特征；对数据特征的各个组成成分的模态信息进行细粒度分类，得到分类结果；根据分类结果，对各个组成成分进行来自模态内和模态间的信息融合，得到融合特征。本发明实施例提供的多模态细粒度混合方法在多模态细粒度混合时不以模态为单位进行，考虑到了各模态中不同组成成分的特点，所处上下文环境的差异，选择对应的合适的交互方式，可以使得多模态模型在利用多模态数据互补的特点的同时，避免不相关信息的影响。 | ||
| 搜索关键词： | 多模态 细粒度 混合 方法 系统 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院），未经哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110094267.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种便于药材脱水保存设备
- 下一篇：一种设过偏检测结构的龙门吊
