[发明专利]计算机执行、利用神经网络生成依存句法树的方法及装置

说明书

本说明书实施例了提供一种生成依存句法树的方法及装置。该方法包括：在嵌入层，对待分析句子中各个位置对应的各个字分别进行嵌入处理，得到所述各个字各自的特征向量；在字关系生成层，利用自注意力机制，基于第一字的特征向量和第二字的特征向量，确定第一字到第二字的字间依存度；第一字和第二字为所述待分析句子中两个不同位置的字；在词关系生成层，基于第一词中的字到第二词中的字的字间依存度，确定第一词到第二词的词间依存度，第一词和第二词为所述待分析句子所包含的多个词中的两个不同词；在输出层，基于所述多个词中各词相互的词间依存度，确定依存句法树。该方法可以减少集外词情况的发生，具有较高的新词容错能力。

技术领域

本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种计算机执行、利用神经网络生成依存句法树的方法及装置。

背景技术

在人工智能的多项应用场景中，都需要完成自然语言处理的任务，例如语义分析、意图识别、智能翻译等等。依存句法分析(parser)为自然语言处理的一项基础研究，其主要用于研究一个句子中词与词之间的依存关系，并生成依存句法树，以此来描述该句子中词与词之间的依存关系。也就是说，依存句法树指出了词之间在句法上的搭配关系，该搭配关系是和词的语义相关联的。

依存句法分析广泛应用于关系抽取、知识图谱等领域。为了满足人工智能的发展需求，亟需一种计算机执行的可准确、快速地生成依存句法树的方案。

发明内容

本说明书一个或多个实施例描述了一种计算机执行、利用神经网络生成依存句法树的方法，可以提高对新词的容错能力。

根据第一方面，提供一种计算机执行的、利用神经网络生成依存句法树的方法，所述神经网络包括嵌入层、字关系生成层、词关系生成层、输出层，所述方法包括：

在所述嵌入层，对待分析句子中各个位置对应的各个字分别进行嵌入处理，得到所述各个字各自的特征向量；

在所述字关系生成层，利用自注意力机制，基于第一字的特征向量和第二字的特征向量，确定所述第一字到所述第二字的字间依存度；所述第一字和所述第二字为所述待分析句子中两个不同位置的字；

在所述词关系生成层，基于第一词中的字到第二词中的字的字间依存度，确定所述第一词到所述第二词的词间依存度，所述第一词和所述第二词为所述待分析句子所包含的多个词中的两个不同词；

在所述输出层，基于所述多个词中各词相互的词间依存度，确定依存句法树。

在一个实施例中，所述字关系生成层包括多个注意力层，其中任意的第一注意力层包括C个注意力头部；其中，C为自然数；

所述确定所述第一字到所述第二字的字间依存度，包括，在所述第一注意力层，执行以下步骤：

获取上一层输出的所述各个字的上一层表征向量，其中包括对应于第一字的第一表征向量和对应于第二字的第二表征向量；以及获取上一层字间依存矩阵，其中包括从第一字到第二字的上一层依存向量；

在所述C个注意力头部的每个注意力头部中，基于第一表征向量和第二表征向量，确定第一字到第二字的注意力分数，从而得到C个注意力分数，所述C个注意力分数构成第一字到第二字的注意力向量；

基于所述注意力向量和所述上一层依存向量，得到所述第一字到第二字的本层依存向量，用于构成本层字间依存矩阵。

在该实施例的一种可能的实现方式中，所述第一注意力层是所述嵌入层的下一层；所述各个字的上一层表征向量等于所述嵌入层得到的各个字的特征向量；所述上一层字间依存矩阵为零矩阵。

在该实施例的一种可能的实现方式中，所述第一注意力层是所述词关系生成层的前一层；

所述确定所述第一字到所述第二字的字间依存度，还包括：