[发明专利]基于预训练和信息增强的岩土工程嵌套命名实体识别方法

权利要求书

1.一种基于预训练和信息增强的岩土工程嵌套命名实体的识别方法，其特征在于，该识别方法具体包括以下步骤：

S1、预先构建岩土工程语料样本库，具体收集岩土工程语料文本，并采用跨度三元组进行岩土工程嵌套命名实体标注；

S2、预先构建BERT-BiLSTM-LIE模型，该模型是通过对岩土工程语料样本库中的样本迭代训练得到，其中BERT-BiLSTM-LIE模型包括：

BERT表示层，利用BERT模型对预先构建的岩土工程语料样本库中的样本进行处理，生成字向量列表；

BiLSTM上下文编码层，采用BiLSTM模型对字向量列表进行上下文编码，生成正向和反向的隐藏层向量；

LIE局部信息增强编码层，采用LIE模型对正向和反向的隐藏层向量进行局部信息增强，得到与嵌套命名实体短语对应的最终输出向量；

解码层，通过多层感知器对最终输出向量进行解码，得到识别后的嵌套命名实体；

S3、将待识别的关于岩土工程的文本输入到BERT-BiLSTM-LIE模型中进行岩土工程嵌套命名实体的识别。

2.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，跨度三元组中的标签label为每个嵌套命名实体的分类类型，其中分类类型包括“O”，“GEN”，“GEO”，“SUR”，“FEA”，“EVA”，“DEF”，其中不标注实体类型为其他实体的“O”标签。

3.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，当岩土工程语料文本中一个句子内含有多个命名实体时，则对应多个跨度三元组。

4.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，步骤S1具体包括以下步骤：

1)收集包括岩土工程勘察、设计报告和论文的文本资料，形成原始语料样本库；

2)对原始语料样本库中文本语法错误或行文不规范问题进行预处理；

3)根据岩土工程命名实体的特点，结合相关国家和行业标准规范，制定基于跨度三元组的岩土工程嵌套命名实体的标注规范；

4)至少两个标注小组根据标注规范对预处理后的原始语料样本库标注，并进行一致性校验。

5.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，BERT表示层具体进行表征学习，自动学习不同粒度文本的潜在语法或语义特征，并分布式地表示为稠密、连续、低维的字向量列表。

6.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，BiLSTM上下文编码层具体将上下文信息与字向量表示结合起来，生成包含上下文信息的编码向量。

7.根据权利要求1所述的基于预训练和信息增强的岩土工程嵌套命名实体识别方法，其特征在于，LIE局部信息增强编码层具体对上下文编码层得到的隐藏层向量进行三种启发式方法的局部信息增强运算，三种启发式方法为：

(1)拼接start和end对应的字向量；

(2)对start和end对应的字向量做元素积运算；

(3)对start和end对应的字向量做求差运算。