[发明专利]基于预训练和信息增强的岩土工程嵌套命名实体识别方法

说明书

本发明公开了一种基于预训练和信息增强的岩土工程嵌套命名实体的识别方法，该识别方法具体包括以下步骤：S1、预先构建岩土工程语料样本库，具体收集岩土工程语料文本，并采用跨度三元组进行岩土工程嵌套命名实体标注；S2、预先构建BERT‑BiLSTM‑LIE模型，该模型是通过对岩土工程语料样本库中的样本迭代训练得到，其中BERT‑BiLSTM‑LIE模型包括BERT表示层、BiLSTM上下文编码层、LIE局部信息增强编码层和解码层；S3、将待识别的关于岩土工程的文本输入到BERT‑BiLSTM‑LIE模型中进行岩土工程嵌套命名实体的识别。本发明可提高对嵌套命名实体的识别效果。

技术领域

本发明涉及自然语言处理的信息抽取领域，尤其涉及一种针对岩土工程文 本的基于预训练和信息增强的岩土工程嵌套命名实体识别方法及系统。

背景技术

目前岩土工程相关数据主要是大量勘察、设计报告等非结构化电子文档， 这类数据无法进行数据挖掘、数据融合等深层分析，也难以实时快速检索需要 的关键信息，不能满足工程方面的管理、防治、预测、预警等智能管控要求， 不能达到当前大数据快速响应的要求。如何从这些海量文本数据中获取信息是 数据分析的重要挑战。

信息抽取是从自然语言文本中抽取指定类型的实体、关系、事件等事实信 息，并形成结构化数据输出的文本处理技术，命名实体识别是实现岩土工程文 本信息抽取的基础。由于岩土工程文本在内容、术语和行文等方面具有较强领 域特性，且缺乏训练模型所需的领域语料库，目前面向岩土工程文本中文命名 实体识别的研究工作还较少。且大多数已有的命名实体识别工作仅对Flat NER 进行识别，忽视了对嵌套实体的识别，从而使文档中的实体信息不能得到充分 挖掘。

发明内容

本发明主要目的在于提高岩土工程文本中的嵌套命名实体识别的效率。

本发明所采用的技术方案是：

提供一种基于预训练和信息增强的岩土工程嵌套命名实体的识别方法，该 识别方法具体包括以下步骤：

S1、预先构建岩土工程语料样本库，具体收集岩土工程语料文本，并采用 跨度三元组进行岩土工程嵌套命名实体标注；

S2、预先构建BERT-BiLSTM-LIE模型，该模型是通过对岩土工程语料样 本库中的样本迭代训练得到，其中BERT-BiLSTM-LIE模型包括：

BERT表示层，利用BERT模型对预先构建的岩土工程语料样本库中的样 本进行处理，生成字向量列表；

BiLSTM上下文编码层，采用BiLSTM模型对字向量列表进行上下文编码， 生成正向和反向的隐藏层向量；

LIE局部信息增强编码层，采用LIE模型对正向和反向的隐藏层向量进行 局部信息增强，得到与嵌套命名实体短语对应的最终输出向量；

解码层，通过多层感知器对最终输出向量进行解码，得到识别后的嵌套命 名实体；

S3、将待识别的关于岩土工程的文本输入到BERT-BiLSTM-LIE模型中进 行岩土工程嵌套命名实体的识别。

接上述技术方案，跨度三元组中的标签label为每个嵌套命名实体的分类类 型，其中分类类型包括“O”，“GEN”，“GEO”，“SUR”，“FEA”，“EVA”，“DEF”， 其中不标注实体类型为其他实体的“O”标签。

接上述技术方案，当岩土工程语料文本中一个句子内含有多个命名实体时， 则对应多个跨度三元组。

接上述技术方案，步骤S1具体包括以下步骤：

1)收集包括岩土工程勘察、设计报告和论文的文本资料，形成原始语料样 本库；

2)对原始语料样本库中文本语法错误或行文不规范问题进行预处理；