[发明专利]基于三元融合神经网络用于图像和菜谱的跨模态检索方法在审
申请号: | 202110612179.6 | 申请日: | 2021-06-02 |
公开(公告)号: | CN115438206A | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 徐行;孙嘉良;李娇;沈复民 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06F16/53 | 分类号: | G06F16/53;G06V10/44;G06V10/82;G06N3/04;G06N3/08;G06Q50/12;G06T3/40 |
代理公司: | 北京中济纬天专利代理有限公司 11429 | 代理人: | 郝迎宾 |
地址: | 611731 四川省成都市高*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 三元 融合 神经网络 用于 图像 菜谱 跨模态 检索 方法 | ||
1.基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,包括如下步骤:
步骤1.分别提取食物图像数据、烹饪步骤数据和食材数据的特征向量,所述饪步骤数据和食材数据组成菜谱数据;
步骤2.对食材数据运用注意力机制,以计算不同食材的特征权重;
步骤3.对提取到的食物图像数据、烹饪步骤数据和食材数据的特征向量进行三元融合,并结合所述不同食材的特征权重得到三元融合特征向量;
步骤4.对所述三元融合特征向量进行张量分解;
步骤5.对进行张量分解后的三元融合特征向量进行学习,得到最终的三元融合特征向量,并将所述最终的三元融合特征向量进行映射,得到食物图像和菜谱的相似度;
步骤6.利用三阶段的采样策略对食物图像和菜谱的相似度样本进行筛选;
步骤7.利用筛选出的样本对步骤1-6组成的三元融合神经网络进行训练;
步骤8.利用训练好的三元融合神经网络对食物图像和菜谱进行跨模态检索。
2.根据权利要求1所述的基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,步骤1中:
对于所述食物图像数据,使用残差神经网络ResNet50进行特征提取,提取出食物图像数据的特征向量,并利用一个嵌入层进行映射;
对于所述烹饪步骤数据,使用sentence2vector模型提取出烹饪步骤的向量表示,然后运用长短期记忆神经网络LSTM提取出烹饪步骤数据的特征向量,并利用一个嵌入层进行映射;
对于所述食材数据,使用word2vec模型对其编码,然后利用一个单层双向的门控循环单元GRU提取出食材数据的特征向量。
3.根据权利要求1所述的基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,步骤2具体是指:
步骤201.对于食材数据特征向量中的每个食材,初始化它的权重作为注意力的数值;
步骤202.利用食材的权重和食材数据特征向量,通过加权求和得到应用注意力机制的食材数据特征向量;
步骤203.利用一个嵌入层对加权后的食材数据特征向量进行映射。
4.根据权利要求1所述的基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,步骤3具体是指:
步骤301.将应用注意力机制的食材数据的特征向量根据具体食材拆分成不同的子特征向量;
步骤302.分别计算食物图像数据的特征向量、烹饪步骤数据的特征向量和食材数据子特征向量的张量模积;
步骤303.将计算得到的张量模积重新拼接得到三元融合特征向量。
5.根据权利要求1所述的基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,步骤4具体包括以下步骤:
步骤401.应用PARALIND张量分解模型将高维的张量拆分成一组低维张量的总和,每组低维张量包括一个依赖张量和三个因数矩阵;
步骤402.将注意力机制的张量拆分成32组低维张量;
步骤403.将三元融合的特征张量拆分成一组包含一个依赖张量和三个因数矩阵的低维张量;
步骤404.通过学习得到拆分后的低维张量近似计算出三元融合特征向量。
6.根据权利要求1所述的基于三元融合神经网络用于图像和菜谱的跨模态检索方法,其特征在于,步骤5具体是指:
步骤501.将进行张量分解后的三元融合特征向量分别送入两组全连接层;
步骤502.将输出的结果加上烹饪数据特征向量和加权求和后的食材数据特征向量求和学习得到最终的三元融合特征向量;
步骤503.将最终的三元融合特征向量送入一组全连接层进行映射;
步骤504.利用Sigmoid激活函数将映射后的值放缩到0至1范围内的值作为相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110612179.6/1.html,转载请声明来源钻瓜专利网。