[发明专利]基于三元融合神经网络用于图像和菜谱的跨模态检索方法在审
| 申请号： | 202110612179.6 | 申请日： | 2021-06-02 |
| 公开（公告）号： | CN115438206A | 公开（公告）日： | 2022-12-06 |
| 发明（设计）人： | 徐行;孙嘉良;李娇;沈复民 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06F16/53 | 分类号： | G06F16/53;G06V10/44;G06V10/82;G06N3/04;G06N3/08;G06Q50/12;G06T3/40 |
| 代理公司： | 北京中济纬天专利代理有限公司 11429 | 代理人： | 郝迎宾 |
| 地址： | 611731 四川省成都市高*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于跨模态检索领域，提出一种基于三元融合神经网络用于图像和菜谱的跨模态检索方法，包括：分别提取食物图像数据、烹饪步骤数据和食材数据的特征向量，烹饪步骤数据和食材数据组成菜谱数据；对食材数据运用注意力机制，计算不同食材的特征权重；对提取到特征向量进行三元融合，并结合不同食材的特征权重得到三元融合特征向量，并进行张量分解和学习，得到最终的三元融合特征向量，进行映射后，得到食物图像和菜谱的相似度；利用三阶段的采样策略对食物图像和菜谱的相似度样本进行筛选；利用筛选出的样本训练整体三元融合神经网络；利用训练好的三元融合神经网络对食物图像和菜谱进行跨模态检索。本发明能够实现有效的跨模态检索。 | ||
| 搜索关键词： | 基于 三元 融合 神经网络 用于 图像 菜谱 跨模态 检索 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110612179.6/，转载请声明来源钻瓜专利网。
