[发明专利]图像生成系统与方法

权利要求书

1.一种图像生成系统，其特征在于，包括：

文本挖掘组件，用于确定第一制造行业中需要生成样图的指定对象品类，根据与所述指定对象品类相关联的用户行为数据以及所述指定对象品类的对象描述信息，生成用于所述指定对象品类的样式描述文本，其中所述样式描述文本反映所述指定对象品类的样式需求；

图像生成组件，用于将所述样式描述文本输入至基于文本预测的第一图像生成模型中进行图像生成，以得到多个初始对象图像；将所述多个初始对象图像与所述样式描述文本输入至第二图文匹配模型进行匹配，以得到匹配度符合阈值要求的至少一个候选对象图像；

其中，第一图像生成模型采用基于矢量化的对抗生成网络VQGAN和稀疏注意力机制实现的两阶段的编码器-解码器结构。

2.根据权利要求1所述的系统，其特征在于，所述图像生成组件将所述样式描述文本输入至基于文本预测的第一图像生成模型中进行图像生成以得到多个初始对象图像，具体包括：

将所述样式描述文本对应的文本序列输入至所述第一图像生成模型中，基于预先训练出的码本，根据所述文本序列生成多个图像序列，所述码本表示图像序列的离散化文本表示；

对所述多个图像序列分别进行图像重建，以得到多个初始对象图像。

3.根据权利要求2所述的系统，其特征在于，所述图像生成组件基于预先训练出的码本，根据所述文本序列生成多个图像序列，具体包括：

将所述文本序列输入至所述第一图像生成模型的编码器，对所述文本序列进行编码得到第一图像特征；

将所述第一图像特征输入至所述第一图像生成模型的解码器，在所述解码器中，采用稀疏注意力机制，基于所述码本对所述第一图像特征分别进行解码得到多个图像序列。

4.根据权利要求1所述的系统，其特征在于，所述图像生成组件将所述多个初始对象图像与所述样式描述文本输入至第二图文匹配模型进行匹配以得到匹配度符合阈值要求的至少一个候选对象图像，具体包括：

将所述多个初始对象图像与所述样式描述文本输入至第二图文匹配模型，所述第二图文匹配模型用于将所述多个初始对象图像和所述样式描述文本分别进行特征编码并映射到同一个语义空间，得到多个第二图像特征和文本特征；

根据所述多个第二图像特征与所述文本特征之间的匹配度，从所述多个初始对象图像中选择匹配度大于阈值的至少一个初始对象图像作为候选对象图像。

5.根据权利要求1-4任一项所述的系统，其特征在于，所述文本挖掘组件生成用于所述指定对象品类的样式描述文本，具体包括：

对与所述指定对象品类相关联的用户行为数据进行文本挖掘，得到用户感兴趣的对象属性和品类描述；

对所述指定对象品类在最近时段内出现的新对象的描述信息进行文本挖掘，得到新对象的对象属性和品类描述；

根据所述用户感兴趣的对象属性和品类描述，以及所述新对象的对象属性和品类描述，从所述第一制造行业的品类-属性-属性值知识体系中获取品类属性数据，所述品类属性数据至少包括商品样式属性；

根据所述品类属性数据生成样式描述文本。

6.根据权利要求1-4任一项所述的系统，其特征在于，所述第一制造行业为服装行业、印刷行业、生活用品行业、家居行业、电器行业或乘用车行业。

7.根据权利要求1-4任一项所述的系统，其特征在于，还包括：

质量评测组件，用于将所述至少一个候选对象图像展示给评估系统，以及响应于所述评估系统的选择，获取被选中的目标对象图像，并将所述目标对象图像用于后续制造环节。