[发明专利]基于BioBERT与改进Focal loss的药物互作信息提取方法

说明书

本发明涉及信息提取技术领域，且公开了基于BioBERT与改进Focal loss的药物互作信息提取方法，该方法使用生物医学语料库预训练的BioBERT模型对文本序列进行预处理，该模型遵循基于R‑BERT的结构，对于有两个标记药物实体e1和e2的句子，通过BioBERT层的标记嵌入、段嵌入和位置嵌入得到语义向量。本发明将生物医学语料库(BioBERT)上预训练的双向编码器表示应用于生物医学文献中的DDI提取。BioBERT得到代表句子中实体的语义向量后，将句子中两个实体的嵌入平均为两个向量，连接第一个token，并通过激活操作通过全连接层。此外，本发明探索了一种改进的focal loss损失函数来处理不平衡数据。在DDIExtraction 2013上进行训练后得出，本发明的性能f值达到了80.45％，与传统交叉熵损失函数的BioBERT方法相比，取得了显著的改进。

技术领域

本发明涉及信息提取技术领域，具体为基于BioBERT与改进Focal loss的药物互作信息提取方法。

背景技术

药物-药物相互作用(DDIs)已成为临床治疗中一个重要的现象，它主要是由多种药物联合导致的。在许多情况下，药物不良反应(ADR)是药物互作可能导致的后果，它会导致更加未知的副作用产生。然而，在临床试验中，对某些药物的所有组合进行检测是非常困难的，人们往往不知道某些药物的组合所存在的风险。近几十年来，生物医学文献呈指数增长，隐藏了大量有价值的DDIs信息。因此，从生物医学文献中提取DDIs一直是识别和分类药效的任务，受到生物医学界的广泛关注。

在过去的十年中，许多传统的机器学习方法被应用于DDIs的提取，如基于特征的、基于核的方法，以及基于规则的方法。由于深度学习已经成为机器学习的主要方法，DDIs提取任务的神经网络模型也被提出。这些方法根据神经网络的结构可分为两类，即基于CNN的方法和基于RNN的方法。基于CNN的方法由卷积层、池化层和全连接层组成，并用于预测；基于RNN的方法由输入层、自连接的隐藏层和输出层组成，并用于预测。在提出DDIExtraction 2013任务后，许多不同的方法被提出来。例如，Liu等人首次提出了一种基于CNN的DDIs Extraction任务方法，该方法获得了69.75％的F1值。Zhang等建立了基于提取某些特征相互作用和药物相似度度量的CNN-DDI体系结构，F1分值为74.96％。对于基于RNN的方法，Huang等将SVM和Long-Short-Term Memory(LSTM)结合为两阶段识别和分类方法，得到了69.0％的F1值。Ramakanth等人将基于字符的RNN用于DDI提取，在基于规则的过滤负实例的情况下，得到了72.13％的F1得分。Zhang等人提出了一种基于层次递归神经网络的最短依赖路径和句子序列的集成方法，该方法对DDIs进行提取获得了72.90％的F1值。Sun等人提出了具有focal loss的混合卷积神经网络，得到的F1值为75.48％的模型性能。尽管这些方法对DDIs提取任务做出了很大贡献，但大量的特征和参数会占用大量的计算资源，在实践中不能很好地推广。

最近，基于注意力机制的方法被应用到DDIs的关系提取中，目的是学习文本中良好的embedding。Yi等人引入了具有多重注意层模型的双向递归神经网络用于DDIs分类，并得到了72.20％的F-score。Zheng等结合注意机制和长短期记忆(LSTM)提取DDIs效果良好，F1得分为77.30％。Zhou等提出了一种基于注意的双向长短期记忆(BiLSTM)网络，结合位置感知注意权重进行DDI提取，其F1得分为72.99％。