[发明专利]使用神经网络生成文本段的依存性解析

说明书

方法、系统和装置包括被编码在计算机存储介质上的计算机程序，用于生成针对输入文本段的依存性解析，其可以作为输入被提供到自然语言处理系统。所述系统中的一个包括第一神经网络，包括：一个或多个初始神经网络层，被配置成针对输入文本序列中的每个标记：接收针对该标记的特征；并且共同地处理该特征以生成用于在确定所述输入文本序列中的该标记的词性中使用的该特征的替选表示；以及依存性解析神经网络，被配置成：处理由所述一个或多个初始神经网络层所生成的、针对所述输入文本序列中的该标记的该特征的该替选表示以生成所述输入文本序列的依存性解析。

技术领域

本说明书涉及使用神经网络生成文本段的依存性解析(dependency parse)。

背景技术

神经网络是采用非线性单元的一个或多个层来针对接收到的输入预测输出的机器学习模型。除输出层之外，一些神经网络包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即，下一隐藏层或者输出层)的输入。网络的每个层根据相应的参数集的当前值从接收到的输入生成输出。

发明内容

自然语言处理是涉及计算机与人类(自然)语言之间的交互的计算机科学的领域。其具有包括被使用来提供人机自然语言接口中的许多应用。这样的接口可以允许人类仅使用其语音控制设备，例如，在“智能环境”中控制。

仅基于口述命令或者话语来理解人类的意图可能是可能难以准确地执行的数据密集型任务。如此，理解口述命令的意图常常是不可能的，并且因此，尽管在试图理解命令时耗费了计算资源，意图的操作(例如，以特定的方式控制特定设备)可能仍未被正确地执行或者完全未被确实，。

因此，改进自然语言处理的可靠性以便减少这样的情形的发生是期望的。增加自然语言处理的速度和/或减少计算资源的使用也可以是期望的。

能够被使用在自然语言处理中的一个输入是依存性解析，其一般而言，定义文本段中的词之间的依存性。即，依存性解析定义文本段中的哪些词依赖于文本段中的哪些其它词，并且可选地定义依存性中的每个依存性的类型。本说明书描述被实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统能够如何以经改进的方式生成针对输入文本段的依存性解析，从而潜在地改进关于输入文本段的自然语言处理的性能。

在本说明书中所描述的主题的特定实施例能够被实现以便实现以下优点中的一个或多个。通过在生成文本段的依存性解析中非直接地使用POS标签，在预测文本段的依存性解析中的POS标签错误的串接被减少并且依存性解析能够准确地被预测。通过不要求词汇化特征由依存性解析器神经网络使用并且通过作为替代重新使用由初始神经网络层所生成的表示，生成依存性解析的模型具有更小的大小(即，是更紧凑的)，并且能够比使用词汇化特征的替选方案更快地生成依存性解析。如将理解到，通过更迅速地和/或更准确地生成依存性解析，基于输入文本段和依存性解析来由自然语言处理系统所确定的响应性操作(例如，智能家居中的设备的控制)还能够更迅速地和/或准确地被执行。另外，通过使用允许跨多个任务(即，跨POS标签和依存性解析)的流水线向下反向传播的堆栈的连续形式，模型的组件能够有效率地并且迅速地被训练。

在附图和以下描述中阐述本说明书中所描述的主题的一个或多个实施例的细节。主题的其它特征、方面和优点将根据说明书、附图和权利要求书而变得显而易见。

附图说明

图1示出了示例依存性解析生成系统。

图2是用于生成用于输入文本段的依存性解析的示例过程的流程图。

图3是用于更新当前解析状态的示例过程的流程图。

图4是用于训练POS标签神经网络和依存性解析神经网络的示例过程的流程图。

各附图中的相同附图标记和标号指示相同元件。

具体实施方式