[发明专利]一种基于预训练语言模型的实体关系抽取方法及装置

说明书

本发明提供一种基于预训练语言模型的实体关系抽取方法及装置。该方法包括：基于种子知识从待抽取知识文本库获取相应的候选模板；对所述候选模板进行排序及筛选，确定Prompt模板；基于所述Prompt模板生成的提示文本、预训练语言模型以及Prompt Tuning方式对原始输入信息进行实体知识挖掘，获得相应的实体知识；将所述实体知识作为新的种子知识，利用所述新的种子知识进行挖掘以产生新的候选模板，并基于所述新的候选模板进行循环迭代处理，获得循环迭代处理过程中输出的知识挖掘结果。本发明提供的基于预训练语言模型的实体关系抽取方法，能够降低Prompt模板的标注成本，有效提高知识挖掘的效率。

技术领域

本发明涉及数据分析技术领域，具体涉及一种基于预训练语言模型的实体关系抽取方法及装置。另外，还涉及一种电子设备及处理器可读存储介质。

背景技术

近年来，随着预训练语言模型(Pre-trained Language Model，PLM)在自然语言处理(Natural Language Processing，NLP)的各个领域的应用越来越广泛，自然语言处理也获得了长足发展。但是，随着预训练模型参数量的加大，对其进行微调(fine-tuning)的硬件要求和数据标注成本越来越高，周期长的问题也逐渐凸显，因此本领域技术人员急需一种更有效的Prompt-tuning方案来提高基于预训练语言模型的知识挖掘效率。然而，现有的基于预训练语言模型的知识挖掘方案中使用的Prompt模板通常需要人工进行标注，费时费力，且导致知识挖掘的效果受制于人工Prompt模版的好坏。因此，如何提供一种高效的基于大规模预训练语言模型和自动Prompt模版挖掘的知识挖掘方案成为亟待解决的难题。

发明内容

为此，本发明提供一种基于预训练语言模型的实体关系抽取方法及装置，以解决现有技术中存在的基于知识挖掘方案中Prompt模板标注需要人工参与，从而导致知识挖掘效率较差的缺陷。

第一方面，本发明提供标注一种基于预训练语言模型的实体关系抽取方法，包括：

基于种子知识从待抽取知识文本库获取相应的候选模板；对所述候选模板进行排序及筛选，确定Prompt模板；

基于所述Prompt模板生成的提示文本、预训练语言模型以及Prompt Tuning方式对原始输入信息进行实体知识挖掘，获得相应的实体知识；

将所述实体知识作为新的种子知识，利用所述新的种子知识进行挖掘以产生新的候选模板，并基于所述新的候选模板进行循环迭代处理，获得循环迭代处理过程中输出的知识挖掘结果。

进一步的，所述利用所述新的种子知识进行挖掘以产生新的候选模板，并基于所述新的候选模板进行循环迭代处理，获得循环迭代处理过程中输出的知识挖掘结果，具体包括：

基于Prompt-Snowball方式循环挖掘所述新的种子知识对应的新的候选模板，并对所述新的候选模板进行再次排序及筛选，确定新的Prompt模板；基于所述新的Prompt模板生成的提示文本，并利用所述预训练语言模型以及Prompt Tuning方式对原始输入信息进行实体知识挖掘，获得循环迭代处理过程中输出的知识挖掘结果。

进一步的，所述对所述候选模板进行排序及筛选，确定Prompt模板，具体包括：

根据所述候选模板的文本匹配频率或所述候选模板的字节长度对所述候选模板进行排序及筛选，确定Prompt模板。

进一步的，所述的基于预训练语言模型的实体关系抽取方法，还包括：基于所述Prompt模板生成提示文本；基于所述Prompt模板生成提示文本，具体包括：根据所述Prompt模板对所述待抽取知识文本库中的文本进行分析，以提取出与所述Prompt模板对应的实体名称，并基于所述实体名称和所述Prompt模板获得相应的提示文本。