[发明专利]可传递自然语言表示的重新训练投影网络

说明书

提供用于预投影网络以用作可传递自然语言表示生成器的系统和方法。特别地，本文描述的示例预训练方案使得能够学习随机局部敏感哈希(LSH)投影上的可传递深度神经投影表示，从而无需存储任何嵌入矩阵，因为可以在推断时动态地计算投影。

对相关申请的交叉引用

本申请要求2019年2月14日提交的美国临时专利申请No.62/805,498的优先权和权益。美国临时专利申请No.62/805,498的全部内容通过引用合并于此。

技术领域

本公开通常涉及机器学习。更具体地，本公开涉及预训练投影网络以用作可传递自然语言表示生成器的系统和方法。

背景技术

神经语言表示是许多最新自然语言处理模型的核心。一种广泛使用的方法是预训练、存储和查找词或字符嵌入矩阵。一些流行的词嵌入是word2vec、GloVe和ELMO。诸如此类的取决于预先计算的词嵌入的方法可以帮助初始化神经模型，导致更快的收敛，并提高了许多应用的性能，诸如问题解答、总结、情感分析和其他类似任务。

尽管有用，但是这种预先计算的语言表示会占用大量存储器。例如，必须为每一个不同的词或其他语言单元存储一个条目(例如，d维嵌入向量)。这样，存储嵌入矩阵所需的存储器量与词汇表大小成正比。因此，对于平均大小的词汇表，需要大量存储器。修剪词汇表可能会导致存储器需求减少，但是也会阻碍语言表示泛化为未知词的能力。除了存储器需求之外，还需要查找操作以从嵌入矩阵中获得对特定语言输入(例如，词)的嵌入。

通常，深度学习模型的巨大成功以及移动IoT设备的爆炸性增长，以及对用户隐私的日益重视，导致需要部署用于推断的“设备上”的深度学习模型。

然而，与预先计算和存储的语言表示形式相关的存储器需求使它们难以在设备上进行部署。因此，需要适合在设备上或在其他资源受限的设置中使用的用于生成语言表示的改进的技术。

发明内容

本公开的实施例的各方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实施而获知。

本公开的一个示例方面针对一种计算系统，该计算系统包括一个或多个处理器和一个或多个共同存储预训练的投影网络的非暂时性计算机可读介质。预训练的投影网络被配置为接收包括一个或多个文本单元的语言输入，并从该语言输入动态生成中间表示。预训练的投影网络包括一个或多个投影层的序列，其中，每一个投影层被配置为接收层输入并将多个投影层函数应用于层输入以生成投影层输出。预训练的投影网络包括一个或多个中间层的序列，该中间层被配置为接收由一个或多个投影层的序列中的最后一个投影层生成的投影层输出并生成一个或多个中间层输出，其中，中间表示包括由一个或多个中间层的序列中的最后一个中间层生成的中间层输出。计算机可读介质共同存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作。操作包括获得语言输入；将语言输入输入预训练的投影网络；以及接收中间表示作为预训练的投影网络的输出。

本公开的另一示例方面针对一种计算机实现的方法，用于预训练包括一个或多个投影层和一个或多个中间层的投影网络，每一个投影层被配置为应用一个或多个投影函数以将层输入投影到不同的维度空间，投影网络被配置为接收输入并为所述输入生成中间表示。该方法包括由一个或多个计算设备访问包括多个示例输入的训练数据集合。该方法包括由一个或多个计算设备将多个示例输入中的每一个输入到投影网络中。该方法包括由一个或多个计算设备接收用于多个示例输入中的每一个的相应中间表示，作为投影网络的输出。该方法包括由一个或多个计算设备将每一个相应中间表示输入到解码器模型中，该解码器模型被配置为基于中间表示来重构输入。该方法包括由一个或多个计算设备接收对多个示例输入中的每一个的相应重构输入，作为解码器模型的输出。该方法包括至少部分地基于每一个相应重构输入与对应示例输入的比较，由一个或多个计算设备学习投影网络的一个或多个中间层的一个或多个参数值。