[发明专利]一种知识图谱指导的多张场景图像生成方法

权利要求书

1.一种知识图谱指导的多张场景图像生成方法，其特征在于，步骤包括：

步骤S1：以(头实体、关系、尾实体)的形式，提取所需的三元组，整合成为一个知识图谱；

步骤S2：将一组物体标签输入布局搜索模块，得到多张符合事实的布局关系图；

步骤S3：将每张布局关系图输入预训练好的知识模块中，得到物体知识矩阵与全局知识向量；

步骤S4：在生成器中加入物体知识矩阵与全局知识向量；

步骤S5：在鉴别器中加入物体知识矩阵与全局知识向量；

步骤S6：根据整体的损失函数交替训练生成器与鉴别器，在保证整张图像的生成质量的同时，也保证物体图像切片复合标签对应的类别；所得的生成器即为完成布局关系图到场景图像生成的工具。

2.根据权利要求1所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S2具体为：

步骤S21：将一组物体标签输入步骤S1构建的知识图谱中进行图谱搜索，搜索出所有包含输入标签之间关系的三元组，并根据出现的频率对搜索到的三元组进行排序；

步骤S22：根据参数设置，选择需要的三元组数量组成最可能的布局关系图，同时以随机组合的方式生成其他多张不同的布局关系图。

3.根据权利要求1或2所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S3具体为：

步骤S31：利用知识表示方法KG2E对步骤S1构建知识图谱进行预训练，用不同的高斯分布来代表图谱内所有物体与关系对应的知识表示；

步骤S32：将步骤S2得到的布局关系图进行数据处理，分解成图内物体标签与图内关系标签；

步骤S33：输入图内物体标签与图内关系标签，从预训练好的物体与关系的KG2E知识表示中采样，得到物体知识矩阵与关系知识矩阵；

步骤S34：将物体知识矩阵与关系知识矩阵加和称为全局知识矩阵，经过全连接层生成全局知识向量，代表整个布局关系图从图谱中提取到的知识信息。

4.根据权利要求3所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S4具体为：

步骤S41：将分解得到的图内物体标签与图内关系标签进行初始化嵌入，得到物体初始矩阵与关系初始矩阵；

步骤S42：将物体、关系的初始矩阵输入5层深度的图卷积网络中，分别得到物体更新矩阵、关系更新矩阵；

步骤S43：将知识模块中输出的物体知识矩阵与物体更新矩阵连接到一起，得到物体预测矩阵；

步骤S44：物体预测矩阵经过多层感知机1生成物体边框位置的数值，经过多层感知机2生成物体形状掩膜，物体边框位置、物体形状掩膜再经过映射组合，生成场景布局张量；

步骤S45：将知识模块中输出的全局知识向量自动扩充与图片大小相同的维度，并与场景布局张量连接到一起，输入级联生成网络中，生成场景图像。

5.根据权利要求4所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，所述步骤S5具体为：

步骤S51：对图像中的不同物体进行鉴别时，将场景图像经过数据处理后得到的物体图像切片与知识模块输出的物体知识矩阵同时输入卷积神经网络1中，得到物体图像切片的真假评分与物体类别预测；

步骤S52：对整张图像进行鉴别时，将场景图像与知识模块输出的全局知识向量同时输入卷积神经网络2中，得到图像的真假评分。

6.根据权利要求4所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，多层感知机1是由全连接层、Relu层、全连接层组成，多层感知机2由上采样层、BN层、卷据层、Relu层按顺序堆叠4次组成。

7.根据权利要求5所述的一种知识图谱指导的多张场景图像生成方法，其特征在于，卷积神经网络1的结构为卷积层、BN层、Relu层、卷积层、BN层、Relu层、卷积层、平均池化层、全连接层；卷积神经网络2的结构为卷积层、BN层、Relu层、卷积层、BN层、Relu层、卷积层。