[发明专利]一种根据食谱生成食物图像的方法

说明书

本发明提供一种根据食谱生成食物图像的方法，包括：输入食物图像和食谱，利用本发明提出的图像文本嵌入模块ITEM从食谱中提取特征并嵌入，再计算食物图像和食谱的余弦相似度；利用本发明提出的CIGM生成低分辨率图像；结合低分辨率图像和文本特征通过CIGM生成高分辨率图像，逐步训练ITEM和CIGM，在训练CIGM时，固定ITEM的值保持权重不变，在训练CIGM时利用两种损失函数计算方式:由判别器给出的文本图像对语义一致性对抗损失函数和基于ITEM的文本语义损失函数。相比于现有根据食谱生成食物图像的方案，本发明一种根据食谱生成食物图像的方法，在视觉真实性和语义一致性方面都有更好的表现。

技术领域

本发明涉及计算机视觉及自然语言处理领域，尤其涉及一种根据食谱生成食物图像的方法。

背景技术

人们往往会花很多时间在食谱上，因为烹饪与我们的生活息息相关。对食物的解构和理解已经做了大量的工作，包括食物分类，食谱图像的嵌入，根据图像生成图谱。此外，预先实现菜品外观可视化对新菜谱的设计有很大的帮助，对于根据已知菜谱生成图像具有明显的意义。

目前根据已知菜谱生成图像还没有一个比较成熟的技术方案，根据菜谱生成食物图像属于文本到图像(text-to-image T2I)领域，T2I的目标是生成与参考文本具有相同语义意义的图像。T2I可以在不同的语境、不同的方面得到广泛的应用，表现出了很强的能力。因此，引起了计算机视觉和自然语言处理领域研究人员的关注。这些现有的模型在使用简单文本生成图像方面表现良好，如CUB bird数据集和MS COCO数据集。之前有工作通过两个独立阶段生成图像，利用一个判别器将生成的图像与带有相应文本的原始图像进行区分，但是，该模型存在语义不完全的问题，因为文本和图像的领域一致性是单个判别器难以学习的，其认知重点是图像的逼真性。为解决这个问题，镜像对抗生成网络被提出用来重新生成文本，并将其与给定的文本对齐，以便进行正则化，但这种方法不适用于配料的再生。不同于对幼鸟数据集和MS COCO数据集的描述，参考文本总是简单的，例如，“这只鸟有黑色的翅膀和黄色的头部。”一个包括配料和使用说明书的食谱平均可能包含250个单词，因此根据生成的图像重建食谱并不容易。由于内容较长，很难生成与配料语义相同的图像。

发明内容

针对现有技术中存在的上述缺陷，本发明提供了一种根据食谱生成食物图像的方法，可以生成更具有视觉真实性和语义一致性的图像。

依据本发明的一个方面，提供了一种根据食谱生成食物图像的方法，包括以下步骤：

a)输入图像和食谱，利用本发明提出的图像文本嵌入模块ITEM从输入的图像和食谱中提取特征，特征嵌入，再计算图像和食谱的余弦相似度；

b)对ITEM文本特征，利用CIGM获得低分辨率图像；

c)对上述步骤获得的低分辨率图像和文本特征利用CIGM生成高分辨率图像；

d)逐步训练ITEM和CIGM，在训练CIGM时，固定ITEM的值保持权重不变，在训练CIGM时利用两种损失函数计算方式:由判别器给出的文本图像对语义一致性对抗损失函数和基于ITEM的文本语义损失函数。

根据现有的工作，本发明可以从使用说明书中提取到配料，所以，每份食谱包括配料和如何去烹饪食物的说明书，用(r^s,r^g,v)表示数据片，其中r^s表示使用说明书，r^g表示原料，v表示相关的图片，本发明用两个长短期记忆人工神经网络LSTM(Long Short-TermMemory)编码器从使用说明书和原料中提取特征，使用词向量来学习每个原料的表示，由于原材料列表是一个无序的集合，本发明选择一个双向LSTM来提取可以对原料列表中的每个单词执行逻辑回归的特征，通过原料编码器Φ^g，则可得:

h^g＝Φ^g(r^g) (1)