[发明专利]计算机执行、利用神经网络生成依存句法树的方法及装置

权利要求书

1.一种计算机执行的、利用神经网络生成依存句法树的方法，所述神经网络包括嵌入层、字关系生成层、词关系生成层、输出层，所述方法包括：

在所述嵌入层，对待分析句子中各个位置对应的各个字分别进行嵌入处理，得到所述各个字各自的特征向量；

在所述字关系生成层，利用自注意力机制，基于第一字的特征向量和第二字的特征向量，确定所述第一字到所述第二字的字间依存度；所述第一字和所述第二字为所述待分析句子中两个不同位置的字；

在所述词关系生成层，基于第一词中的字到第二词中的字的字间依存度，确定所述第一词到所述第二词的词间依存度，所述第一词和所述第二词为所述待分析句子所包含的多个词中的两个不同词；

在所述输出层，基于所述多个词中各词相互的词间依存度，确定依存句法树。

2.根据权利要求1所述的方法，其中，所述字关系生成层包括多个注意力层，其中任意的第一注意力层包括C个注意力头部；其中，C为自然数；

所述确定所述第一字到所述第二字的字间依存度，包括，在所述第一注意力层，执行以下步骤：

获取上一层输出的所述各个字的上一层表征向量，其中包括对应于第一字的第一表征向量和对应于第二字的第二表征向量；以及获取上一层字间依存矩阵，其中包括从第一字到第二字的上一层依存向量；

在所述C个注意力头部的每个注意力头部中，基于第一表征向量和第二表征向量，确定第一字到第二字的注意力分数，从而得到C个注意力分数，所述C个注意力分数构成第一字到第二字的注意力向量；

基于所述注意力向量和所述上一层依存向量，得到所述第一字到第二字的本层依存向量，用于构成本层字间依存矩阵。

3.根据权利要求2所述的方法，其中，所述第一注意力层是所述嵌入层的下一层；所述各个字的上一层表征向量等于所述嵌入层得到的各个字的特征向量；所述上一层字间依存矩阵为零矩阵。

4.根据权利要求2所述的方法，其中，所述第一注意力层是所述词关系生成层的前一层；

所述确定所述第一字到所述第二字的字间依存度，还包括：

对所述本层依存向量进行第一线性变换，所述第一线性变换为转化为标量的线性变换，从而得到所述第一字到第二字的字间依存度。

5.根据权利要求2所述的方法，其中，基于第一表征向量和第二表征向量，确定第一字到第二字的注意力分数，包括：

利用当前注意力头部对应的键参数矩阵，将第一表征向量转化为第一键向量；

利用当前注意力头部对应的查询参数矩阵，将第二表征向量转化为第二查询向量；

基于第一键向量和第二查询向量的点乘，得到当前注意力头部中所述第一字到第二字的注意力分数。

6.根据权利要求2所述的方法，其中，基于所述注意力向量和所述上一层依存向量，得到所述第一字到第二字的本层依存向量，包括：

对所述注意力向量和所述上一层依存向量进行线性组合，得到中间向量；

对所述中间向量进行线性变换，得到所述本层依存向量。

7.根据权利要求2所述的方法，其中，在所述第一注意力层，还执行以下步骤：

根据各个字的上一层表征向量，以及各个字相互之间的注意力向量，确定各个字的本层表征向量。

8.根据权利要求1所述的方法，其中，所述嵌入层包括字编码层和位置编码层；

所述对待分析句子中各个位置对应的各个字分别进行嵌入处理，得到所述各个字各自的特征向量，包括：

在字编码层，对所述各个字分别进行编码处理，得到各个字各自的字编码向量；

在位置编码层，基于所述各个字在所述待分析句子当中的位置，各自生成所述各个字的位置向量，并将所述各个字的位置向量和对应的字编码向量进行组合，得到所述各个字各自的特征向量。