[发明专利]用生成式对抗神经网络分割和去噪深度图像用于识别应用

说明书

一种从深度图像移除噪声的方法，包括向第一生成式对抗神经网络(GAN)实时呈现真实世界深度图像，通过从要在真实世界深度图像中识别的至少一个对象的计算机辅助设计(CAD)信息生成的合成图像来训练第一GAN。第一GAN减去真实世界深度图像中的背景，并对真实世界深度图像中的前景分割，以生成经清洁的真实世界深度图像。使用经清洁的图像，可经由通过合成图像和经清洁的真实世界深度图像训练的第一GAN来识别真实世界深度图像中的关注对象。在一实施方式中，将来自第一GAN的经清洁的真实世界深度图像提供给第二GAN，其提供附加的噪声消除和由第一GAN移除的功能的恢复。

相关申请的交叉引用

本申请要求于2017年11月3日提交的名称为“用生成式对抗神经网络分割和去噪深度图像用于识别应用”的美国临时专利申请序列号62/581,282的优先权，其全文以引用方式并入本文。

技术领域

本申请涉及成像。更具体地，本申请涉及对图像中的对象的自动识别。

背景技术

随着机器自动化不断发展，一个重要方面是识别操作附近的对象的存在和状态。例如，检测光学信息(包括深度信息)的图像传感器可以用于捕获工厂区域的图像。观看图像的人可以基于先验知识容易地识别图像中的对象。然而，使机器“观看”图像并识别图像中的对象并不那么容易。各种因素(包括环境状况、传感器的状况、对象的取向、以及在图像的背景或前景中捕获的附加不重要对象)在捕获图像中产生变化，这使得难以教机器如何做出这些确定。

为了识别具体对象，可以将这些对象的现存图像呈现给机器学习网络，该机器学习网络然后可以通过网络先前已有权访问的训练数据对捕获图像中的对象进行分类。为了减小生成和注释真实世界图像以训练神经网络的时间和费用，已经开发了根据三维(3D)计算机辅助设计(CAD)数据生成对象的合成图像的方法。必须解决通常用于训练识别方法的合成深度图像与目标真实世界深度扫描之间的差异(噪声、杂乱等)以实现准确的对象识别。两个图像域(真实和合成)之间的该差距严重影响了识别算法的准确性。

具体地，计算机视觉的最新进展已经由通过大量准确标记数据训练的深度神经网络占主导地位。但收集和注释此类数据集是一项繁琐且在一些情况下不切实际的任务。因此，方法中的最近关注仅依赖于来自3D模型的合成生成数据以进行其训练(使用3D渲染引擎)。

到目前为止，研究主要集中在通过改善合成深度图像的生成来弥合现实差距。我们建议从相反角度解决这个问题，即在生产中处理真实图像(分割和增强)以使它们更接近已用来训练识别算法的合成图像。

先前工作已包括尝试在统计上模拟和应用噪声损害的深度图像。例如，先前研究提出了一个端到端框架，该框架模拟结构化光传感器的整个机制，从而通过对重要因素(诸如传感器噪声、材料反射率、表面几何形状等)进行全面建模，根据三维(3D)计算机辅助设计(CAD)模型生成真实深度数据。除了与先前方法相比涵盖更宽范围的传感器之外，该方法还提供了更真实的数据，从而一致且显著地增强用于不同3D识别任务的神经网络算法的性能(在用于其训练时)。

通过使用基于GAN的过程来改善已生成深度扫描的真实性并且将一些伪真实背景应用于它们，其他工作已经以该概念作为基础。然而，使用模拟数据无法总是准确地表示真实世界图像以训练神经网络。可使用更能表示真实世界图像的数据来训练识别网络的方法和系统将是有益的。

发明内容

一种用于生成用于训练识别网络的真实图像的方法和系统包括处理要识别的实际的真实世界图像，以使其看起来像用于训练算法的无噪声合成数据。一种从深度图像移除噪声的方法包括：向第一生成式对抗神经网络(GAN)实时呈现真实世界深度图像，第一GAN通过根据要在真实世界深度图像中识别的至少一个对象的计算机辅助设计(CAD)信息所生成的合成图像来训练；在第一GAN中，减去真实世界深度图像中的背景；以及在第一GAN中，对真实世界深度图像中的前景进行分割以生成经清洁的真实世界深度图像。