[发明专利]一种视觉产品外观的AI生成方法

说明书

本发明公开了一种视觉产品外观的AI生成方法，为工业产品外观设计师提供辅助参考和灵感；当输入一个原产品，一个目标物体以及一张艺术风格图片，本方法将原产品的纹理外观形变成目标物体的形状，进而构成新产品，同时将艺术风格迁移到新产品，最终形成一个美妙的视觉产品外观；本方法命名为工业风格迁移，它由大尺度几何形变模块和兴趣保持纹理迁移模块这两部分组成；其中，大尺度几何形变模块目的在于以无监督的方式学习原产品和目标物体形状掩码之间的转换，实现大尺度几何形变；兴趣保持纹理迁移模块则在传统的纹理风格迁移上引入了兴趣正则化项，使得在纹理迁移后能够尽可能的保留原产品中重要的内容细节。

技术领域

本发明涉及工业产品视觉设计领域，具体涉及一种视觉产品外观的AI生成方法。

背景技术

因为消费者对新产品的选择严重依赖于其在市场上的视觉外观，视觉产品设计(VPD)已被公认为工业产品设计领域的核心角色。VPD通常是通过遵循不同的外观属性(如审美、功能和象征)来设计一个新的产品。例如，设计师通常参考汽车和飞机，以其飞行和驾驶的功能和吸引人的审美，制造出美妙的飞行汽车外观。然而，以人工的方式很难快速创造出高质量的产品外观，其又严重依赖于设计师的创意能力。目前大多数方法都依赖于神经风格迁移NST。NST旨在将一个或两个参考图像的艺术和几何风格迁移到内容图像中。艺术风格的转换帮助产品获得审美价值，几何形状的转换可以获得功能和象征价值。

在纹理风格迁移方面，Gatys等人首先提出利用VGG网络的特征图作为内容表示，特征图的Gram矩阵作为风格表示，并通过迭代优化的方式生成风格化的结果。随后，为了提高之前方法的效率，很多工作通过一个前馈网络来得到风格化结果，然而这些方法一个模型只能迁移一个风格。为了进一步提高泛化性，任意风格迁移算法被提出，包括Adain，LinWCT，Avatar-Net等。上述方法在纹理风格迁移上有很大进步，但是它们都难以保留内容图中的细节信息。一些方法针对此问题作了些改进，如ArtFlow通过可逆神经流来保留内容图像的更多细节。尽管如此，这些方法的视觉质量仍有待提高。基于此，我们提出了一种通过SuperPoint网络计算兴趣正则化的方法，该方法以内容图和风格化结果图为输入，输出相应的兴趣点和描述符，通过约束它们间的差异，使内容细节保留的更多。

在几何形变方面，传统的方法对人工提取的兴趣点进行检测和匹配，比如SIFT，形状上下文匹配或者HOG。这些方法虽然能很好地实现实例级匹配，但对外观变化和噪声干扰很敏感。后来，卷积神经网络因其提取强大、鲁棒的特征的能力在几何匹配中得到了广泛的应用。目前最好的方法框架由特征提取、匹配层和回归网络三部分组成，随后的工作在此基础上进行各种改进(如GTST)。所有上述方法都作用在两张RGB图像上，并试图估计一个形变场直接匹配他们。虽然它们在语义相似的图像之间表现良好，但它们无法处理具有大规模几何差异的不同类别的物体。主要原因在于，在缺少语义对应的情况下，计算两个RGB图像之间的相关性是不合理的，定义几何匹配度量也非常困难。Sunnie S.Y.Kim等人提出的DST通过匹配NBB关键点并估计薄板样条插值(TPS)转换来实现形变，它也被限制在同类间的形变，因为NBB只能提取相似对象之间的关键点。

发明内容

本发明的目的在于提出一种视觉产品外观的AI生成方法，通过利用LGW模块以无监督的方式学习原产品和目标物体形状掩码之间的转换，并在传统的纹理风格迁移上引入了基于SuperPoint的兴趣点正则化项，解决神经风格迁移方法只能实现小尺度形变以及内容细节丢失的问题。

实现本发明目的的技术解决方案：一种视觉产品外观的AI生成方法，包括如下步骤：

步骤1、给定原产品S和目标物体T，利用目标分割网络PointRend分别提取它们的掩码M_s，M_t，用来作为形状表示；

步骤2、利用卷积编码网络分别提取掩码M_s，M_t的特征F_s，F_t；