[发明专利]图像的生成方法和系统、数据处理方法

说明书

本申请公开了一种图像的生成方法和系统、数据处理方法。其中，该方法包括：根据接收到的文本信息生成场景数据，其中，上述场景数据包括：上述文本信息所包含的语义主体和任意两个上述语义主体之间的关系；根据用于表示上述场景数据的场景序列，预测上述文本信息对应的图像的图像信息，其中，上述图像信息包含上述语义主体在上述图像中的布局参数；根据上述图像信息生成上述文本信息对应的图像。本申请解决了现有技术中将场景图作为神经网络模型的输入，导致得到的语义构图的结果不准确的技术问题。

技术领域

本申请涉及计算机视觉领域，具体而言，涉及一种图像的生成方法和系统、数据处理方法。

背景技术

基于语义信息的多物体图像生成与图像检索一直是计算机视觉领域需要解决的核心问题之一。近年来，研究者逐渐意识到了语义构图的重要性并把语义构图作为连接语义信息与图像的中间表达形态，因此，由语义信息推理得到语义构图逐渐发展成为一个核心独立子问题。

研究者通过进一步将语义信息细化，由诸如自然语言形态的非结构化语义信息，向结构化的场景图表达过渡，使得整个问题拆分为两部分：1)由非结构化语义信息预测结构化场景图，属于自然语言处理范畴；2)由结构化场景图预测语义构图，则属于计算机视觉范畴。

现有技术中为解决第2)部分提及的问题，采用图卷积网络完成由场景图整体到语义构图整体的端到端的生成。但是，现有技术中由场景图整体作为神经网络模型的输入的方式极大地增加了场景图的变化，会造成几乎无穷多种不同的场景图使得数据难以被有效表达和泛化，最终导致语义构图的学习结果不准确。

针对上述现有技术中将场景图作为神经网络模型的输入，导致得到的语义构图的结果不准确的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像的生成方法和系统、数据处理方法，以至少解决现有技术中将场景图作为神经网络模型的输入，导致得到的语义构图的结果不准确的技术问题。

根据本申请实施例的一个方面，提供了一种图像的生成方法，包括：根据接收到的文本信息生成场景数据，其中，上述场景数据包括：上述文本信息所包含的语义主体和任意两个上述语义主体之间的关系；根据用于表示上述场景数据的场景序列，预测上述文本信息对应的图像的图像信息，其中，上述图像信息包含上述语义主体在上述图像中的布局参数；根据上述图像信息生成上述文本信息对应的图像。

根据本申请实施例的另一方面，还提供了一种图像的生成方法，包括：接收文本文本信息；对上述文本信息进行语义分析，得到上述文本信息对应的场景数据，其中，上述场景数据包括：上述文本信息所包含的语义主体和上述语义主体之间的关系；根据上述场景数据确定上述文本信息对应的图像。

根据本申请实施例的另一方面，还提供了一种图像的生成方法，包括：获取结构化场景图对应的场景序列，其中，上述结构化场景图包括：用于表示语义主体的节点和任意两个节点之间的有向连接关系；根据上述场景序列预测上述结构化场景图对应的语义构图序列，其中，上述语义构图序列包括：与上述结构化场景图对应的语义构图中上述语义主体的布局参数；根据上述语义构图序列生成上述语义构图。

根据本申请实施例的另一方面，还提供了一种图像的生成方法，包括：接收文本信息，其中，上述文本信息包括；语义主体和任意两个上述语义主体之间的关系；根据上述文本信息对应的场景序列确定上述语义主体在图像中的布局参数；从图像数据库中查找上述语义主体对应的图像元素，并根据上述语义主体的布局参数将上述图像元素还原至对应的位置，得到上述语义主体对应的图像。