[发明专利]一种基于对比学习的多视图生成方法

说明书

本发明为克服外观专利图像集中存在的视图缺失的缺陷，提出一种基于对比学习的多视图生成方法，包括以下步骤：获取多视角图像数据及其对应的真实视点标签；对多视角图像数据进行预处理，构建训练集；使用对比学习约束训练编码器；在完成训练的编码器后接入解码器和判别器，构成生成对抗网络，将所述训练集输入所述生成对抗网络中进行对抗训练；输入外观图像，经完成训练的编码器提取视角不变特征后，将所述视角不变特征和目标视角标签输入完成训练的解码器中，输出得到保留主体本征信息且视角转换为目标视角的外观图像。

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种基于对比学习的多视图生成方法。

背景技术

随着知识经济时代的到来，知识产权制度在社会的发展变化中发挥着越来越突出的作用。而外观设计作为知识产权法律的一项保护对象，也逐渐受到了人们的关注。我国的外观设计专利申请在不断地增多，申请量已居于世界第一，面对庞大的外观专利数据库，如何利用计算机技术更高效地进行外观专利的检索成为了一个重要的研究热点，同时，以深度学习为代表的机器学习方法是目前主要的研究方向之一，深度学习在计算机视觉上的应用得到了前所未有的成功，也为图像检索带来了精度和效率上的提高成为了解决与图像相关任务的最主要，最有效的方法。

由于早期对于外观专利图像的收集备案存在不规范性，导致外观专利图像数据库中存在不少视图缺失的问题，这也为专利图像检索中的多角度检索带来挑战，使得在拍摄角度不正的情况下检索的精度出现不同程度的下降。传统的补充图像的方法是通过人工的再次采集，然而其不仅效率低下、成本巨大，而且还可能无法还原以前采集时的环境背景。另一种方法是通过生成模型来学习真实数据的分布从而对图像数据进行补充，近年来关于生成对抗网络的研究呈现爆发式增长，通过研究者们的不断改进优化，目前生成对抗网络已具备良好的生成能力，它通过两个神经网络的对抗训练，使得生成网络学习高维分布。目前，新视图合成方法分为两类，基于几何的方法和基于学习的方法，然而它们分别有着局限于特定的场景和无法推断3D结构信息的缺点，生成的新视角的图片会丢失原本的身份信息，无法有效地解决外观专利图像集中存在的视图缺失的问题。

发明内容

本发明为克服上述现有技术所述的外观专利图像集中存在的视图缺失的缺陷，提供一种基于对比学习的多视图生成方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于对比学习的多视图生成方法，包括以下步骤：

S1：获取多视角图像数据及其对应的真实视点标签；

S2：对多视角图像数据进行预处理，构建训练集；

S3：使用对比学习约束训练编码器；

S4：在完成训练的编码器后接入解码器和判别器，构成生成对抗网络，将所述训练集输入所述生成对抗网络中进行对抗训练；

S5：输入外观图像，经完成训练的编码器提取视角不变特征后，将所述视角不变特征和目标视角标签输入完成训练的解码器中，输出得到保留主体本征信息且视角转换为目标视角的外观图像。

作为优选方案，所述S2步骤中，对多视角图像数据进行预处理的具体步骤如下：

S2.1：从同一物体的多视角图像数据中选取13个不同视角拍摄得到的图片，以正对物体为中心，左右各选取6个视角，每个视角间隔15°，组成训练集，并标注有相应的视角标签；

S2.2：对训练集中每张图像，对主体部分进行裁剪，去除背景，并对图像进行缩放形成同一规格大小的图像。

作为优选方案，所述编码器为Small AlexNet，所述编码器中包括5个卷积块，3个全连接层，其中所述卷积块中包括卷积层、BN层、ReLU层、池化层。