[发明专利]一种基于多种注意力和改进预训练的药物间关系抽取方法

说明书

本发明属于计算机自然语言处理技术领域，提供了一种基于多种注意力和改进预训练的药物间关系抽取方法。在神经网络之中利用多种不同的实体注意力机制，来增强神经网络对复杂药物名的理解，其中实体注意力机制包括：实体标记注意力、两实体标记差注意力和基于实体描述文档的注意力机制，同时对预训练语言模型的输入进行改进，使得其输出能够更好的适用于药物间关系抽取任务。本发明的益处是解决了在处理药物关系描述文档时，药物名过于复杂而导致深度学习模型无法很好地理解药物名的难题，提高了药物关系识别水平。

技术领域

本发明属于计算机自然语言处理技术领域，涉及一种从生物医学文本中抽取药物间关系的方法，具体是一种基于改进的预训练语言模型和多种实体注意力机制的药物间关系抽取方法。

背景技术

药物间相互作用(drug-drug interactions，DDIs)是指同时或在一定时间内服用两种或两种以上药物所产生的综合效应。随着医学工作者对药物间相互作用研究的不断深入，大量有价值的信息被埋在了成指数增长的非结构化生物医学文献中。目前，在药物相关的开放数据库如Drugbank(Wishart,D.S.et al.DrugBank5.0:A major update to theDrugBank database for 2018.NucleicAcidsRes.2017,46,1074-1082)，PharmGKB(Thorn,C.F.et al.PharmGKB:Thepharmacogenomicsknowledgebase.InPharmacogenomics；Springer:Berlin,Germany,2013；pp.311–320)，Drug Interaction database(Hachad,H.et al.A useful tool for drug interaction evaluation:The University ofWashingtonMetabolismandTransportDrugInteractionDatabase.Hum.Genom.2010,5,61–72)中都可以找到许多药物间相互作用信息。如何从海量的非结构化生物医学文献中自动提取结构化的药物间关系是研究者迫切需要解决的问题。

关系抽取是自然语言处理中常见的任务之一，它能够通过机器学习模型挖掘出文本中两个特定实体之间的关系。药物间关系抽取则是一个十分典型的关系抽取类任务，也是生物医学领域十分受关注的任务之一。近年来，DDI Extraction 2011(Segura Bedmar,I.et al.,The 1st DDIExtraction-2011challenge task:Extraction of Drug-DrugInteractions from biomedical texts.In Proceedings of the 1st Challenge Taskon Drug-Drug Interaction Extraction 2011,Huelva,Spain,7September 2011)和DDIExtraction 2013(Segura-Bedmar,I.et al.SemEval-2013Task9:Extraction ofDrug-Drug Interactions from Biomedical Texts(DDI Extraction 2013).InProceedings of the 7th International Workshop on Semantic Evaluation,SemEval@NAACL-HLT 2013,Atlanta,GA,USA,14–15June 2013；Diab,M.T.,Baldwin,T.,Baroni,M.,Eds.；The Association for Computer Linguistics:Stroudsburg,PA,USA,2013；pp.341–350.)评测任务的成功举办，为各种DDI提取方法的性能评价提供了一个公认的基准语料库。