[发明专利]一种知识图谱指导的多张场景图像生成方法

说明书

本发明提供了一种知识图谱指导的多张场景图像生成方法，属于图像生成邻域。本发明首次利用知识图谱辅助完成图像生成任务，首先构建含有物体布局关系的知识图谱，然后将一组物体标签输入图谱中，经布局搜索模块，得到多张符合事实的布局关系图；再将布局关系图通过预训练好的知识模块，提取图谱中的知识信息，最后在布局关系图通过图像生成模块时，结合知识模块中得到的知识物体矩阵与全局知识向量，对生成器与鉴别器进行训练，以生成每张关系图对应的场景图像。本发明利用知识图谱实现了一组标签，生成多张图像的一对多任务，通过嵌入知识表示信息提升图像生成质量。本发明利用真实的图像数据集进行评估本发明，并观察在最先进的基线上的改进。

技术领域

本发明属于图像生成领域，具体涉及一种知识图谱指导的多张场景图像生成方法。

背景技术

知识图谱是以三元组为单位的数据库，三元组中储存了实体的信息，还有实体与实体之间的关系信息，在知识图谱的方法应用中，trans系列中的KG2E方法是经典的知识表示方法之一，该方法能够将图谱中的实体与关系都嵌入表示成一个高维高斯分布，模型训练时利用KL散度使得头实体减去尾实体的分布，尽可能趋近于关系的分布。这种知识表示方法能够将图谱中的信息以分布的形式引入其他模型，也是本发明在提取图谱信息时采用的方法。

跨模态转换是多模态学习中的经典任务，文本、声音等各模态到图像的生成都属于这个领域。现阶段，这些工作主要是利用生成对抗网络来实现图像的生成，生成对抗网络由生成器和鉴别器两部分组成，具体设计由任务决定，生成器一般由多层感知机与深度卷积网络组成，输入由文本或声音提取的特征向量，输出生成的图像；鉴别器由浅层卷积网络组成，输入图像，输出图像的真假评分，更细致地还能够输出图像对应的类别。在训练过程中，鉴别器希望能够将生成图像判定为低分，而真实图像判定为高分，达到“评价鉴别”的作用；而生成器则希望生成图像能够被鉴别器判定为高分，达到“以假乱真”的作用。生成器与鉴别器交替训练，互相对抗，从而保证图像的生成质量。

目前文本合成场景图像的方法，大多存在着以下几个问题：(1)目前的文本往往是一句话，用户在生活中实际应用时需要给出一句话才能生成图像，是比较不便的；(2)符合描述文本的图像应该不止一个，但目前大多数方法都只能实现一对一的生成任务，且在生成具有很多物体的、复杂的场景图像时表现不好，无法生成良好的布局。(3)文本与图像属于不同模态，文本信息能够提供的信息量不足以支撑生成高质量的图像。

发明内容

发明目的：本发明主要针对上述文本到图像生成方法的不足之处进行改善，提出了一种知识图谱指导的多张场景图像生成方法，将标签作为输入，利用知识图谱得到布局关系，实现一对多的生成，同时在生成对抗网络中加入知识信息以提升图像生成质量。

为了实现上述目的，本发明采用如下技术方案：

一种知识图谱指导的多张场景图像生成方法，其步骤包括：

步骤S1：构建知识图谱，以(头实体、关系、尾实体)的形式，提取所需的三元组，整合成为一个小型知识图谱；

步骤S2：将一组物体标签输入布局搜索模块，得到多张符合事实的布局关系图；

进一步，所述步骤S2具体为：

步骤S21：将物体标签输入构建的知识图谱中进行图谱搜索，搜索出所有包含输入标签之间关系的三元组，并根据出现的频率对搜索到的三元组进行排序；

步骤S22：根据参数设置，选择需要的三元组数量组成最可能的布局关系图，同时以随机组合的方式生成其他多张不同的布局关系图；

步骤S3：将每张布局关系图输入预训练好的知识模块中，得到物体知识矩阵与全局知识向量；

进一步，所述步骤S3具体为：

步骤S31：利用经典的知识表示方法KG2E对知识图谱进行预训练，用不同的高斯分布来代表图谱内所有物体与关系对应的知识表示；