[发明专利]一种基于知识表示的生物医学实体链接方法

权利要求书

1.一种基于知识表示的生物医学实体链接方法，其特征在于，包括以下步骤：

步骤一、文本预处理

对于生物医学文本，首先提取出文本中所有待链接的生物医学实体提及，然后通过知识库查找实体提及对应的所有候选实体标识符ID；仅保留排序前五的查找结果作为实体提及的候选ID集合；

步骤二、基于生物医学知识库的实体表示学习

(2.1)从知识库中抽取同一实体多种变体和不同实体同名的实体结构信息；

(2.2)将知识库中实体结构信息作为向量空间上的约束，采用自动编码机对实体提及表示和变体表示进行重构，从而学习实体ID表示；

自动编码机是基于两个约束：(i)实体ID表示是其各个变体表示的和，(ii)实体提及表示是其同名变体表示的和；定义实体提及表示为变体表示为实体ID表示为v^(i,j)是第i个实体提及m⁽ⁱ⁾和第j个实体IDs^(j)共有的变体；则自动编码机的两个约束可用如下公式表示：

s^(j)＝∑_iv^(i,j)

m⁽ⁱ⁾＝∑_jv^(i,j)

自动编码机由两部分组成，即编码器和解码器；编码时，编码器按照实体提及→变体→实体ID的顺序进行；其中，实体提及表示m⁽ⁱ⁾初始化为其组成单词的预训练词表示的平均值，变体表示v^(i,j)通过引入一个对角矩阵对实体提及表示m⁽ⁱ⁾进行分解获得；然后，由对应变体表示的加和获得实体ID表示s^(j)；编码过程的公式如下：

s^(j)＝∑_iv^(i,j)＝∑_iE^(i,j)m⁽ⁱ⁾

E^(i,j)是一个对角矩阵，满足条件∑_jE^(i,j)＝I_n，其中I_n是一个单位矩阵；

解码时，解码器按照实体ID→变体→实体提及的顺序进行；通过引入另一个对角矩阵将编码获得的实体ID表示s^(j)分解为各个变体表示然后再由同名变体表示的加和重构实体提及表示解码过程的公式如下：

对角矩阵同样满足条件∑_iD^(j,i)＝I_n，其中I_n是一个单位矩阵；

(2.3)定义一个重构误差函数来训练自动编码机的参数，其公式为：

该重构误差函数由两部分组成，一个是要求解码出的实体提及表示m⁽ⁱ⁾与输入的提及表示m⁽ⁱ⁾对齐，即∑_j(D^(j,i)∑_iE^(i,j)m⁽ⁱ⁾)≈m⁽ⁱ⁾；另一个是要求解码器得到的变体表示与编码器得到的变体表示v^(i,j)对齐，即E^(i,j)m⁽ⁱ⁾≈D^(j,i)s^(j)；

通过最小化该重构误差函数，使得实体结构信息被嵌入到实体ID中，得到学习后的实体ID表示；α,β为权重系数，且满足α+β＝1，用于控制两部分对齐的平衡；

步骤三、基于知识表示的生物医学实体链接

利用步骤二学习获得的实体ID表示，对步骤一抽取出的生物医学实体提及进行消歧，获得在特定上下文中实体提及对应的唯一ID；构建基于知识表示的实体消歧模型，该模型通过注意力机制和门机制融合文本语义表示和实体ID表示，从而预测实体提及被链接到当前候选实体ID的概率；具体过程如下：

(3.1)通过嵌入层，将待链接实体提及的候选实体ID，和它的左侧上下文、右侧上下文分别映射到向量空间，获得候选ID表示s和左、右侧上下文词向量序列和

(3.2)C^L和C^R分别输入给一个门递归单元神经网络GRU，获得在第t个时间步输出的隐层表示和如下：

对于一段词序列的语义信息，其中每个词相对于候选ID的重要性是不同的；所以提出基于知识表示的注意力机制，利用候选ID表示计算每个时间步隐层表示的归一化权重α_t，计算公式如下：

e_t＝tanh(W_a·h_t+V_a·s+b_a)

其中，h_t是或和均是模型的参数，在训练过程中进行调优；tanh为双曲正切激活函数；通过一个前馈神经网络建模候选ID表示s与上下文各个时间步的隐层表示h_t，获得二者的关联得分e_t；之后，利用softmax函数对得分e_t进行归一化得到隐层表示的权重α_t；

接下来，对GRU隐层表示的整个序列作加权求和操作，使结构信息编码的候选ID表示与上下文语义表示融合，公式如下：

o＝∑_tα_th_t

其中，o表示左上下文表示o^L或右上下文表示o^R；

(3.3)注意力机制分别应用于左、右侧隐层表示从而获得的左、右上下文表示，并通过一个门机制来进行动态控制，让实体提及的最终上下文表示z获得充分的学习，计算公式如下：

z＝g⊙o^L+(1-g)⊙o^R

g＝σ(W_g·o^L+V_g·o^R+b_g)

其中，W_g,V_g,b_g是待训练的参数；⊙表示逐元素相乘；g是权重，通过将左右上下文o^L和o^R输入一层全连接层并通过sigmoid激活函数σ获得的；

(3.4)将实体提及的上下文表示z和候选ID表示s拼接输入给分类器；分类器由具有ReLU激活的两层全连接神经网络FC和一个sigmoid输出层组成，公式如下：

pr₁＝relu(W₁·[z；s]+b₁)

pr₂＝relu(W₂·pr₁+b₂)

p＝softmax(W₃·pr₂+b₃)

其中，W₁,b₁,W₂,b₂,W₃,b₃是待训练的参数，[；]表示拼接操作，p为实体提及被链接到当前候选ID的概率；

(3.5)基于知识表示的实体消歧模型通过一个二元交叉熵损失函数进行训练，公式如下：

其中，n是训练样例个数，y_i是第i个样例对应的正确标签，p_i是第i个样例的预测概率，λ||W||为训练参数的正则项；

生物医学实体消歧模型为每个实体提及与其候选ID进行打分并排序，选择得分最高的候选ID作为最终的链接结果。