[发明专利]使用神经网络的压缩感测

说明书

用于使用神经网络进行压缩感测的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法之一包括：接收输入数据项的输入测量；对于一个或多个优化步骤中的每个：使用生成器神经网络处理潜在表示以生成候选重构数据项，使用测量神经网络处理候选重构数据项以生成候选重构数据项的测量，以及更新潜在表示以减少在测量和输入测量之间的误差；在一个或多个优化步骤之后使用生成器神经网络处理潜在表示以生成输入数据项的重构。

技术领域

本说明书涉及使用神经网络压缩和重构数据。

背景技术

神经网络是机器学习模型，它应用一层或多层非线性单元来针对接收到的输入预测输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作对于在网络中的下一层的输入，网络中的下一层即下一个隐藏层或输出层。网络的每一层根据相应权重集的当前值从接收到的输入生成输出。

发明内容

本说明书描述了一种系统，该系统在一个或多个位置的一个或多个计算机上被实现为计算机程序，该系统使用深度压缩感测来压缩和重构—即解压缩—数据项。重构方案被称为深度压缩感测方案，因为它利用生成器神经网络和测量函数(其也可以是神经网络)在一个或多个优化步骤上优化数据项的重构。

因此，描述了一种重构数据项的方法，数据项例如是压缩或感测的数据项。该方法包括：接收输入数据项的输入测量，其中，输入数据项的输入测量是输入数据项的至少一个特征的表示，并且其中，输入测量具有比输入数据项低的维度；以及，初始化潜在表示，其中，潜在表示具有比输入数据项低的维度。该方法进一步包括，对于一个或多个优化步骤中的每个：使用具有多个生成器参数的生成器神经网络处理潜在表示，其中，生成器神经网络被配置为根据生成器的当前值处理潜在表示参数以生成候选重构数据项，使用具有多个测量参数的测量神经网络处理候选重构数据项，其中，测量神经网络被配置为根据测量参数的当前值处理候选重构数据项以生成候选重构数据项的度量，并更新潜在表示以减少候选重构数据项的测量与输入数据项的输入测量之间的误差；并且，使用生成器神经网络并根据生成器参数的当前值在一个或多个优化步骤之后处理潜在表示以生成输入数据项的重构。

压缩感测通常依赖于数据项——诸如图像—的稀疏性，以便能够使用保证在稀疏性约束下最小化测量误差的手段通过少量测量来重构数据项。稀疏性可能例如在频域中是隐式的，但稀疏性要求是一个重要的限制。所描述的方法的实施方式使用生成器神经网络和测量神经网络来解决这个问题，生成器神经网络隐式地将重构的数据项约束到低维流形，测量神经网络能够了解数据项的哪些方面对重构有用。因此，测量神经网络还可以充当编码器来压缩数据项，尽管当用于重构数据项时，它处理候选重构数据项。在生成重构时更新潜在表示有助于重构过程。

如下所述，对于生成器神经网络和测量神经网络不需要使用特殊的架构。

初始化潜在表示可以包括随机选择潜在表示。一个或多个优化步骤中优化步骤的数量可以是固定常数。在该方法的一些实施方式中，优化步骤的数量可能很小，例如少于十个，例如3-5。更新潜在表示可以包括相对于关于误差的潜在表示执行梯度下降步骤。

在实施方式中，通过经由一个或多个优化步骤的反向传播来联合训练生成器神经网络和测量神经网络以确定生成器参数和测量参数的当前值。候选重构数据项的测量与输入测量之间的误差取决于生成器参数和测量参数；通过优化步骤的反向传播可以包括调整这些参数。因此，可能已经使用元学习训练了生成器神经网络和测量神经网络。这可以显著减少用于重构数据项所需的处理，并有助于实现更高精度的重构。

当重构数据时，(在线)优化步骤可以包括通过确定相对于生成器参数的误差的梯度来确定对生成器参数的当前值的更新。即，可以调整生成器参数以及潜在表示以生成数据项的重构。这也有助于减少所需的处理并可以提高重构精度。

无需更新测量参数，原则上该技术甚至可以用于随机测量。然而，在一些实施方式中，可以通过类似地确定相对于测量参数的测量损失函数的梯度来更新测量参数。