[发明专利]使用神经网络编码和重构输入

说明书

本文描述了用于训练和使用神经网络来对输入进行编码并处理编码输入以例如从编码输入来重构输入的系统、方法、设备和其它技术。神经网络系统可以包括编码器神经网络、可信解码器神经网络和对手解码器神经网络。编码器神经网络处理主神经网络输入和密钥输入，以生成主神经网络输入的编码表示。可信解码器神经网络处理编码表示和密钥输入，以生成主神经网络输入的第一估计重构。对手解码器神经网络在没有密钥输入的情况下处理编码表示，以生成主神经网络输入的第二估计重构。编码器神经网络和可信解码器神经网络可以联合训练，并且这些网络被对抗性地训练成对手解码器神经网络。

技术领域

本说明书总体上描述了用于训练和使用神经网络(neural network，NN)来编码输入并处理编码输入以例如从编码输入来重构输入的系统、方法、设备和其它技术。

背景技术

神经网络是机器学习模型，其采用一层或多层非线性单元来预测对于接收的输入的输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，例如下一隐藏层或输出层的输入。网络的每一层根据相应参数集的当前值从接收的输入生成输出。

神经网络已经被训练来执行各种数据处理任务，诸如分类、预测和翻译。一些系统包括多个数据处理组件，例如，在连续阶段中的多个数据处理组件，以执行给定任务。

发明内容

本说明书公开了可以在一个或多个位置中的一个或多个计算机上实施为计算机程序的神经网络和神经网络训练系统。例如，描述了神经网络，其应用神经网络输入密钥来模糊(obfuscate)神经网络输入，以便模糊(例如，编码)神经网络输入并防止其被另一个神经网络重构。例如，可以联合训练编码器神经网络和可信解码器神经网络，以使用共享秘密密钥或公共-私有密钥对来分别编码和解码主神经网络输入。编码器神经网络和可信解码器神经网络可以进一步相对于试图解码编码器神经网络的输出的对手(adversary)解码器神经网络进行对抗训练，尽管对手解码器神经网络可能无法使用解码密钥。训练系统不仅可以鼓励第一解码器神经网络生成原始神经网络输入的精确重构，还可以奖励编码器神经网络生成不能被对手解码器神经网络精确解码的神经网络输入的编码表示。

在一些实施方式中，神经网络训练系统训练编码器神经网络和第一解码器神经网络。编码器神经网络被训练成通过处理第一输入和不同于第一输入的第二输入来生成第一输入的编码表示。第一解码器神经网络被训练成通过处理第一输入的编码表示以及第二输入或与第二输入相关的第三输入来生成第一输入的估计重构。在一些示例中，编码器神经网络和第一解码器网络被配置成分别加密和解密第一输入。编码器神经网络使用加密密钥生成第一输入的编码表示(例如，加密第一输入)，并且第一解码器神经网络使用相应解密密钥生成第一输入的估计重构(例如，解密第一输入的编码表示)。加密密钥和解密密钥对于对称加密可以是相同的，或者对于非对称加密可以是互补的(例如，公共-私有密钥对)。

训练系统可以训练编码器神经网络和第一解码器神经网络，以保护第一输入的全部或部分的保密性。例如，编码器神经网络和第一解码器神经网络可以与表示对手的第二解码器神经网络相结合地训练。通常，第二解码器神经网络试图损害第一输入的全部或部分的保密性，例如，通过尝试从第一输入的编码表示来重构第一输入。为了破坏第二解码器神经网络实现其目标的能力，训练系统可以例如使用损耗函数(loss function)来调整编码器神经网络和第一解码器神经网络的参数，该损耗函数鼓励第一解码器神经网络对输入的精确重构，但是不鼓励第二解码器神经网络对输入的精确重构。此外，训练系统可以与第二解码器神经网络的训练交替地在成批训练数据上训练编码器神经网络和第一解码器神经网络。在一些示例中，训练的系统可用于模糊输入中表示的敏感信息，使得处理输入的编码表示的其它系统在没有适当密钥的情况下无法可靠地确定敏感信息。