[发明专利]从部分观察中合成新的字体字形

说明书

公开了基于仅对槽隙内容的部分观察，用于合成槽隙内容的全部集合的技术。关于字体，槽隙可以包括字母表中的特定字母或符号或字形。基于对来自字体的字形子集的部分观察，与字体相对应的字形的全部集合可以被合成并且可以进一步被装饰。

技术领域

本公开涉及用于深度学习和深度神经网络的技术。具体地，本公开涉及使用条件生成性对抗网络模型来从几个字形示例自动合成缺失字形的神经网络架构和方法。

背景技术

文本是2D设计的突出视觉元素。艺术家投入大量时间设计在它们的形状和纹理上与其他元素在视觉上兼容的字形。在排版中，字形是商定的符号集合中的元素符号，旨在表示用于书写目的的可读字符。字体可以由字形集合组成，每个字形对应于字母表中的特定符号。例如字体包括字母表中每个字符的字形集合。每个字形都有特定的形状和潜在的装饰和着色。包括字体(形状和颜色)的字形将一种字体与另一种字体区分开。

然而，该过程是劳动密集合型的，并且艺术家通常仅设计标题或注释所必需的字形子集，这使得在创建设计之后难以改变文本或者难以将观察到的字体的实例传递到另一个项目。

关于字形合成的早期研究集合中于轮廓的几何建模，其限于特定的字形拓扑(例如不能应用于装饰或手写字形)并且不能与图像输入一起使用。然而，随着深度神经网络的兴起，研究人员开始研究对来自图像中的字形进行建模。这些方案取得了有限的成功。具体地，用于字形合成的已知方案采用了一次生成单个字形的方案。然而，使用这些类型的方案生成的字形的质量在字体上表现出有限的质量和生成的字形的一致性。此外，一些最近的纹理传递技术直接利用字形结构作为引导通道来改进装饰元素的放置。虽然这种方案在干净的字形上提供了良好的结果，但它往往会在自动生成的字形上失败，因为合成处理的工件使得从字形结构获得适当的引导变得更加困难。

因此，对于从部分观察生成字体的整个字形集合的技术是必要的，其中所生成的字形具有高质量并且在内部与字体中的其他字形一致。

附图说明

图1a是描绘了根据本公开的一个实施例的在测试或推断时间的多内容生成性对抗网络(MC-GAN)的操作的流程图。

图1b是描绘了根据本公开的一个实施例的MC-GAN的训练过程的流程图。

图1c是描绘了根据本公开的一个实施例的用于生成GlyphNet预训练集合的过程的流程图。

图2a是根据本公开的一个实施例的被配置为在测试或推断时间操作的MC-GAN的框图。

图2b是根据本公开的一个实施例的预训练配置中的GlyphNet的框图。

图2c是根据本公开的一个实施例的联合训练配置中的MC-GAN的框图。

图2d是根据本公开的一个实施例的预训练配置中的GlyphNet的详细框图。

图2e是根据本公开的一个实施例的在训练配置中包括GlyphNet和OrnaNet的MC-GAN网络的详细框图。

图3a示出了根据本公开的一个实施例的来自数据集合的灰度级的一些示例性字体。

图3b示出了根据本公开的一个实施例的装饰字体的一些示例。

图3c是根据本公开的一个实施例的利用MC-GAN模型组件的消融研究。

图3d是示出根据本公开的一个实施例的观察到的字形的数量对GlyphNet预测的质量的影响的图。

图4a-4d使MC-GAN模型(根据本公开的实施例)与示例集合上的文本传递方法的比较可视化。

图5a示出了根据本公开的一个实施例的执行MC-GAN网络的示例计算系统。