[发明专利]一种根据食谱生成食物图像的方法

权利要求书

1.一种根据食谱生成食物图像的方法，其特征在于，该食谱生成食物图像的方法包括以下步骤：

a)输入图像和食谱，利用本发明提出的图像文本嵌入模块(Image Text EmbeddingModule:ITEM)从输入的图像和食谱中提取特征，特征嵌入，再计算图像和食谱的余弦相似度；

b)对a)中生成的ITEM文本特征，利用本发明提出的级联图像生成模块(CascadedImage Generation Module:CIGM)获得低分辨率图像；

c)对上述步骤获得的低分辨率图像和文本特征利用CIGM生成高分辨率图像；

d)逐步训练ITEM和CIGM，在训练CIGM时，固定ITEM的值保持权重不变，在训练CIGM时利用两种损失函数计算方式:由判别器给出的文本图像语义一致性对抗损失函数和基于ITEM的文本语义损失函数。

2.根据权利要求1所述的根据食谱生成食物图像的方法，其特征在于，上述ITEM方法还包括：

根据现有的工作，本发明可以从使用说明书中提取到配料，所以，每份食谱包括配料和如何去烹饪食物的说明书，用(r^s,r^g,v)表示数据片，其中r^s表示使用说明书，r^g表示原料，v表示相关的图片，本发明用两个长短期记忆人工神经网络LSTM(Long Short-Term Memory)编码器从使用说明书和原料中提取特征，使用词向量来学习每个原料的表示，由于原材料列表是一个无序的集合，本发明选择一个双向LSTM来提取可以对原料列表中的每个单词执行逻辑回归的特征，通过原料编码器Φ^g，则可得:

h^g＝Φ^g(r^g) (1)

其中，h^g表示配料，与配料成分不同，说明书是一串工作的集合，表示说明书由n_s个句子构成，在句子中有n_w个单词，本发明利用了一个二阶LSTM来表示说明书的全部集合，首先，每个句子都通过第一个阶段LSTM中的Φ^w表示成一个向量可以得到：

第二阶段LSTM在序列向量上训练Φ^s并通过计算下述公式以获得完整使用说明h^s的表示：

对于图像的表示，本发明使用ImageNet上预先训练好的Resnet-50，使用的输出向量来自softmax前一层以表示食物图像，最后,得到h^v＝Φ^v(v)，该阶段生成三个向量(h^s,h^g,h^v)来表示原始输入(r^s,r^g,v)。