[发明专利]处理文本神经网络

说明书

本公开涉及处理文本神经网络。方法、系统和装置包括在计算机存储介质上编码的计算机程序，用于生成使文本分段的词汇表中的每个文本分段与相应的数字嵌入相关联的数据集。在一个方面中，一种方法包括：向图像搜索引擎提供包括所述文本分段的搜索查询；获得已被分类为由所述图像搜索引擎响应于所述搜索查询的图像搜索结果，其中，每个图像搜索结果识别相应的图像；针对每个图像搜索结果，使用卷积神经网络来处理通过所述图像搜索结果所识别的所述图像，其中，所述卷积神经网络已被训练来处理所述图像以生成用于所述图像的图像数字嵌入；以及从用于通过所述图像搜索结果所识别的所述图像的所述图像数字嵌入生成用于所述文本分段的数字嵌入。

技术领域

本说明书涉及使用神经网络处理文本。

背景技术

神经网络是机器学习模型，其使用一个或多个非线性单元层来预测所接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层，即下一个隐藏层或输出层的输入。网络的每一层都根据相应参数集的当前值从所接收输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络能够使用来自先前时间步的网络的一些或全部内部状态来计算当前时间步的输出。递归神经网络的示例是包括一个或多个LSTM存储器块的长短期(LSTM)神经网络。每个LSTM存储器块都能够包括一个或多个单元，每个单元都包括输入门、忘记门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或被提供给LSTM神经网络的其它组件。

发明内容

本说明书描述了一种生成或使用文本分段的数字嵌入的系统，该系统在一个或多个位置中的一个或多个计算机上被实现为计算机程序。文本分段能够为包含多个单词的单词或短语。文本分段的数值嵌入是具有预定维度的嵌入空间中的数值数字的有序集合，例如，浮点值或量子化浮点值的矢量。特别地，系统生成和/或使用数字嵌入，所述数字嵌入是使用图像搜索来定基的(grounded)，即通过利用图像搜索而并入了与文本分段相关联的视觉特征。

本说明书中所述的主旨能够以特定实施例实现，以便实现以下优点中的一个或多个。

各种机器学习系统作为输入接收并操作文本分段的嵌入。例如，执行机器翻译的机器学习系统接收将被翻译的源语言的文本的嵌入作为输入，并在这些嵌入上操作以将文本翻译成一种源语言。作为另一示例，执行诸如文本摘要、词性标注、实体标记等的自然语言处理任务的机器学习系统接收文本的嵌入作为输入，并且在这些嵌入上操作以对文本执行自然语言处理任务。一旦生成，所述的嵌入能够用于改进任何这些机器学习系统的性能。也就是说，因为这些嵌入是使用如本说明书中所述的图像搜索来定基的，所以当这些嵌入或源自这些嵌入的嵌入通过机器学习系统被用来表示对应的文本分段时，相对于使用传统嵌入，系统的性能能够提高。

另外，该系统能够有效地为包括大量文本分段的词汇表生成嵌入，而不会消耗过多的计算资源。特别地，因为系统利用预先训练的卷积神经网络和现有的图像搜索引擎，所以系统能够高效地生成大量基于视觉(visually grounded)的嵌入。

本说明书还描述了用于将所述嵌入与使用利用门控神经网络的其它源生成的嵌入组合的技术。通过以这种方式生成组合嵌入，能够在训练门控神经网络期间以任务特定方式确定指配基于图像搜索的嵌入的权重。这允许采用门控神经网络的机器学习系统的性能进一步提高。也就是说，并入了门系统而不是使用传统方法来嵌入网络输入的系统的性能将提高。

另外，如本说明书中所述，通过以搜索由神经网络生成的内部表示即否则将是到传统输出层的输入的数据与文本分段的数字嵌入之间的相似性的层替换神经网络系统的传统输出层，所述嵌入能够用于改进由神经网络系统生成的输出的质量。通过以这种方式选择输出，即通过根据相似性度量选择输出文本分段，系统能够生成更高质量的输出序列，而不会过度增加运行神经网络所需的计算资源。