[发明专利]使用神经网络编码和重构输入

摘要

本文描述了用于训练和使用神经网络来对输入进行编码并处理编码输入以例如从编码输入来重构输入的系统、方法、设备和其它技术。神经网络系统可以包括编码器神经网络、可信解码器神经网络和对手解码器神经网络。编码器神经网络处理主神经网络输入和密钥输入，以生成主神经网络输入的编码表示。可信解码器神经网络处理编码表示和密钥输入，以生成主神经网络输入的第一估计重构。对手解码器神经网络在没有密钥输入的情况下处理编码表示，以生成主神经网络输入的第二估计重构。编码器神经网络和可信解码器神经网络可以联合训练，并且这些网络被对抗性地训练成对手解码器神经网络。

主权项

1.一种用于在一个或多个计算机上训练神经网络系统的计算机实施的方法，包括：获得神经网络系统的多个训练数据对，每个训练数据对包括相应第一输入和相应第二输入；和在所述多个训练数据对上训练神经网络系统包括，对于每个训练数据对：根据编码器神经网络的参数的当前值，使用编码器神经网络来处理(i)该训练数据对的相应第一输入和(ii)该训练数据对的相应第二输入，以生成该训练数据对的相应第一输入的编码表示；根据第一解码器神经网络的参数的当前值，使用第一解码器神经网络来处理(i)该训练数据对的相应第一输入的编码表示和(ii)该训练数据对的相应第二输入或该训练数据对的相应第三输入，以生成该训练数据对的相应第一输入的第一估计重构，其中(i)该训练数据对的相应第二输入是从该训练数据对的相应第三输入得到的，(ii)该训练数据对的相应第三输入是从该训练数据对的相应第二输入得到的，或者(iii)该训练数据对的相应第二输入和该训练数据对的相应第三输入两者都是使用公共过程得到的，以便彼此互补；获得该训练数据对的相应第一输入的第二估计重构，该第二估计重构由第二解码器神经网络根据第二解码器神经网络的当前参数、通过处理该训练数据对的相应第一输入的编码表示而不处理该训练数据对的相应第二输入来生成；和基于相应第一输入、相应第一输入的第一估计重构和相应第一输入的第二估计重构，调整编码器神经网络的当前参数和第一解码器神经网络的当前参数。