[发明专利]基于BioBERT与改进Focal loss的药物互作信息提取方法

权利要求书

1.基于BioBERT与改进Focal loss的药物互作信息提取方法，其特征在于，该方法使用生物医学语料库预训练的BioBERT模型对文本序列进行预处理，对于有两个标记药物实体e1和e2的句子，通过BioBERT层的标记嵌入、段嵌入和位置嵌入得到语义向量；对于来自隐藏层的第一个token向量(即“[CLS]”)，应用具有激活函数的全连接层；对于句子中的实体，计算每个实体向量的平均值来表示该实体，然后通过具有激活函数的全连接层；最后将向量的三个部分(e1、e2和token)连接起来，将一个全连接层和一个改进的focal loss损失函数的softmax应用到最终输出中，得到DDIs分类的概率，以确定它们属于哪一类；具体包括以下步骤：

S1、预处理：对于一个给定的句子，句子中所有可能的药物实体组合都是由原始数据生成的，实例被定义为一个含有药物对的句子(即两个不同的药物实体)，因此，包含一个以上药物对的句子(即两个以上不同的药物实体)被划分为几个实例，实例的数量等于句子中药物对的数量，为了标记药物对，在第一个第二个药物实体的开始插入特殊标记“e1”和“e2”分别在每个实体的末尾插入“/e1”和“/e2”此外，符号“[CLS]”和“[SEP]”被添加到每句话的开头和结尾；

S2、模型训练

Embedding层：对于目标实体e1和e2的句子，其从BioBERT输出的最终隐藏状态定义为H∈R^n*d，n为BioBERT标记化过程后句子的token数，d为BioBERT的隐藏状态大小；实体e1的BioBERT的隐藏输出将是向量H_i到H_j，i是实体e1的开始令牌的位置，j是实体e1的结束token位置；同样的，表示向量H_k到H_m是实体e2的BioBERT的最终隐藏状态输出，其中k和m是实体e2的开始和结束标记的位置；每个实体的向量表示是通过平均运算得到的；然后创建一个包含dropout层和一个具有激活操作(即tanh)的致密层的全连接层来计算两个向量；最后，H′₁∈R^d*1和H′₂∈R^d*1是实体e1和e2的最终输出，其数学表达式如下：

(1)、(2)式中W₁＝W₂，b₁＝b₂，因为它们共享相同的参数；对于句子的第一个标记(即“[CLS]”)，采用全连通层和激活运算，得到H′₀∈R^1*d，其数学表达式如下：

H′₀＝W₀(tanh(H₀))+b₀     (3)

其中，W₀、W₁、W₂的维数是相同的，即W₀∈R^d*d、W₁∈R^d*d、W₂∈R^d*d，式中b₀、b₁、b₂均为偏置向量；

连接隐藏层：将H′₀、H′₁、H′₂作为h″∈R^1*3d，将h″输入到softmax层中得到预测输出，该过程可表示为：

h″＝concat(H′₀，H′₁，H′₂)    (4)

p＝softmax(h″)    (5)

其中，p是最终分类概率的输出；

改进的focal loss损失函数：在训练迭代中，通常使用交叉熵作为损失函数，交叉熵的数学表达式为：

式中，y是实例的真实值，p_i是预测概率，C是DDI类型的数量；显然，预测概率越接近于真实概率越好；

用p_t表示y_i＝1时对应的概率p_i，计算损失的交叉熵函数可写为：

Loss_CE′＝-log(p_t)    (7)

DDI Extraction 2013的数据是相当不平衡的，这使得模型很难进行分类，特别是对于实例较少的类型，负实例(“None”)的数量远远大于其他实例的数量，在损失中所占比列最大，这对梯度密度的影响很大；然而，DDI提取任务主要是识别量中药物实体之间的相互作用，因此需要调整每种类型的权重，以减少噪声负实例的影响；

解决不平衡问题的focal loss损失函数如下式所示：

L＝-α(1-p_t)^γlog(p_t)    (8)

其中，γ(γ＞0)是focal loss损失函数的调制因子，(1-p_t)^γ是调整项；对于p_t接近于1的易分类实例，其对应的调制项(1-p_t)^γ接近于0；当一个p_t接近0的难分类实例，其对应的调制项(1-p_t)^γ接近1；与交叉熵损失相比，难分类实例的focal loss损失是稳定的，而易分类实例的focal loss损失是减小的总的来说，focal loss损失函数增加了难分类实例的权重，使得损失函数向难分类的实例倾斜；有助于提高难以分类的准确率；

式(8)中的α是对应类别(α∈[0，1])的权重因子；每个类别都对应于它唯一的α；对于i类，α_i可通过以下公式计算：

其中1是类别的数量，Count_i是i类的实例数量；

为避免过拟合，结合focal loss损失和交叉熵损失函数，提出了一种改进的多分类focal loss函数，采用改进的损失函数如下：

L′_i＝-(1-e)α_i(1-p_t)^γlog(p_t)-elog(p_t)    (10)

其中超参数e可用于调整focal loss损失函数和交叉熵损失函数的权重；不同类别的损失e相同，则最终损失为各类损失之和，如式(11)：