[发明专利]词嵌入表示方法、装置及设备

权利要求书

1.一种词嵌入表示方法，其特征在于，包括步骤：

获取待表示词语、所述待表示词语所激活的大脑区域位置、所述待表示词语之间的从属关系以及所述待表示词语对应的第一词嵌入表示；

根据大脑区域位置与预设词语类别之间的对应关系，得到所述待表示词语的词语类别；基于所述待表示词语的词语类别，获取词语关系树中第一层的词语节点集合；其中，每个所述词语类别对应一个所述词语节点集合，所述词语节点集合包括属于所述词语类别的待表示词语对应的词语节点；根据所述待表示词语之间的从属关系，对每个所述词语节点集合内的词语节点继续分类，得到所述词语关系树；其中，所述词语关系树包括所述待表示词语对应的词语节点、所述词语节点对应的第一词嵌入表示和所述词语节点之间的初始连接关系；

根据所述词语节点之间的初始连接关系，获取每个所述词语节点的邻居节点；其中，所述邻居节点包括与所述词语节点直接连接的节点以及与所述词语节点间接连接的节点；

将所述词语节点与所述邻居节点连接，得到所述词语关系树对应的词语关系图；

基于所述词语关系图和预设的图注意力网络，获取所述词语关系图中每个所述待表示词语的第二词嵌入表示。

2.根据权利要求1所述的词嵌入表示方法，其特征在于，所述基于所述词语关系图和预设的图注意力网络，获取所述词语关系图中每个所述待表示词语的第二词嵌入表示，包括步骤：

基于共享注意力机制，获取每个所述邻居节点对所述词语节点的注意力系数；其中，所述注意力系数表示每个所述邻居节点对所述词语节点的重要性程度；

根据所述注意力系数和预设的归一化函数，得到所述注意力系数的注意力权重；

获取不同代的所述邻居节点对所述词语节点的距离权重；其中，同代的所述邻居节点处于所述词语关系树的同一层；

根据所述注意力权重、所述距离权重和预设的词嵌入表示传播策略，获取每个所述待表示词语的第二词嵌入表示。

3.根据权利要求2所述的词嵌入表示方法，其特征在于，所述基于共享注意力机制，获取每个所述邻居节点对所述词语节点的注意力系数，包括步骤：

根据所述词语节点的第一词嵌入表示和预设的共享注意力机制函数，得到每个所述邻居节点对所述词语节点的注意力系数；其中，所述预设的共享注意力机制函数如下：

e_ij＝attention(Wx_i,Wx_j)＝LeakyReLU(a^T[Wx_i；Wx_j])

X＝{x₁,x₂,…,x_N},x_i∈R^S

{x₁,x₂,…,x_N}为词语节点的第一词嵌入表示，N为所述词语关系图中词语节点的个数，i和j分别表示词语节点i和词语节点j，x_i为词语节点i的第一词嵌入表示，x_j为词语节点j的第一词嵌入表示，R是矩阵的象征表示，S为第一词嵌入表示的维度，当S作为矩阵的上标时，其表示一个矩阵的列数，故x_i∈R^S表示x_i是一个1行S列的矩阵，W为共享可学习参数矩阵，W∈R^S′×S，表示W是一个S'行S列的矩阵，S'表示矩阵的行数，Wx_i为共享可学习参数矩阵与词语节点i的第一词嵌入表示的乘积，Wx_j为共享可学习参数矩阵与词语节点j的第一词嵌入表示的乘积，attention()函数是单层前馈神经网络，其激活函数是LeakyReLU()，a为权重向量，a∈R^2S′，T代表向量的转置操作，α为预设系数，e_ij表示邻居节点对词语节点的注意力系数。