[发明专利]使用神经网络生成文本段的依存性解析

权利要求书

1.一种由一个或多个计算机实现的系统，所述系统包括：

第一神经网络，包括：

一个或多个初始神经网络层，被配置成对于输入文本序列中的每个标记：

接收针对该标记的特征输入；以及

共同地处理针对该标记的特征输入以生成用于在确定所述输入文本序列中的该标记的词性中使用的该特征输入的替选表示；以及

依存性解析神经网络，被配置成：

处理由所述一个或多个初始神经网络层所生成的、针对所述输入文本序列中的标记的特征输入的替选表示以生成所述输入文本序列的依存性解析，其中，所述依存性解析神经网络是基于状态的依存性解析神经网络，并且其中，所述依存性解析神经网络被配置成通过处理针对当前解析器状态中的特定位置中的标记的特征输入的替选表示而通过更新所述当前解析器状态来生成所述依存性解析，而无需在生成所述依存性解析中直接地使用所述输入文本序列中的标记的词性。

2.根据权利要求1所述的系统，其中，所述第一神经网络还包括：

输出层，被配置成对于每个标记：

接收该特征输入的该替选表示并且生成多个词性标签中的每个词性标签的相应得分，该相应得分表示对应的词性是所述输入文本序列中的该标记的词性的可能性。

3.根据权利要求1所述的系统，其中，所述依存性解析神经网络被配置成接收包括针对所述当前解析器状态中的特定位置中的标记的特征输入的替选表示的状态特征输入并且处理该状态特征输入以生成多个解析器状态更新中的每个解析器状态更新的相应得分。

4.根据权利要求1-3中的任一项所述的系统，进一步包括自然语言处理系统，被配置成：

使用所生成的依存性解析作为输入来分析所述输入文本序列；以及

基于所分析的输入文本序列，使得执行响应于所述输入文本序列的操作。

5.根据权利要求1所述的系统，其中，所述当前解析器状态将堆栈或缓冲区中的相应位置指派给所述输入文本序列中的所述标记中的至少一些，并标识所述输入文本序列中的所述标记之间的依存性关系。

6.根据权利要求5所述的系统，其中，所述输入文本序列中的所述标记之间的依存性关系每一个包括依存性三元组，所述依存性三元组标识来自所述输入文本序列的中心标记、来自所述输入文本序列的依存标记以及指定所述中心标记和所述依存标记之间的关系类型的标签。

7.根据权利要求1所述的系统，其中，给定标记的所述特征输入包括所述给定标记的特征和围绕所述给定标记的窗口中的一个或多个标记的特征。

8.一个或多个编码有指令的非暂时性计算机可读存储介质，所述指令在由一个或多个计算机执行时，使得所述一个或多个计算机实现神经网络系统，所述神经网络系统包括：

第一神经网络，包括：

一个或多个初始神经网络层，被配置成对于输入文本序列中的每个标记：

接收针对该标记的特征输入；以及

共同地处理针对该标记的特征输入以生成用于在确定所述输入文本序列中的该标记的词性中使用的该特征输入的替选表示；以及

依存性解析神经网络，被配置成：

处理由所述一个或多个初始神经网络层所生成的、针对所述输入文本序列中的标记的特征输入的替选表示以生成所述输入文本序列的依存性解析，其中，所述依存性解析神经网络是基于状态的依存性解析神经网络，并且其中，所述依存性解析神经网络被配置成通过处理针对当前解析器状态中的特定位置中的标记的特征输入的替选表示而通过更新所述当前解析器状态来生成所述依存性解析，而无需在生成所述依存性解析中直接地使用所述输入文本序列中的标记的词性。