[发明专利]基于ELETRIC-BERT的实体抽取方法

权利要求书

1.一种基于ELETRIC-BERT的实体抽取方法，其特征在于，包括如下步骤：

步骤1：首先采集海量电力领域文本语料作为训练数据集；之后设计合适的预训练任务；最后进行预训练过程，对模型的参数进行更新，得到了蕴含丰富知识的领域预训练模型ELETRIC-BERT；

步骤2：将步骤1中通过预训练过程得到的领域预训练模型ELETRIC-BERT与实体抽取基本模型进行整合，得到基于ELETRIC-BERT的实体抽取模型；

步骤3：使用模块替换策略，将原模型参数量压缩为原来的一半；使用压缩后的模型，进行实体抽取任务，从文本语料中抽取出领域实体。

2.根据权利要求1所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，所述步骤1中预训练任务为领域词完型填空，包括：对数据集中的文本语料进行句子级别的遮挡，每个句子随机遮挡其部分领域专有词，若句子中专有词不足，则使用StandfordCoreNLP进行依存分析，得到相应解析树，然后分析解析树，提取出句子中的普通词，对这部分普通词进行遮挡，填补专有词的空缺。

3.根据权利要求2所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，遮挡的专有词字数占总句子的15％。

4.根据权利要求2所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，所述步骤1预训练过程中，模型对句子中遮挡住的专用词进行预测，基于预测误差计算出的梯度，使用梯度下降算法对模型的参数进行更新。

5.根据权利要求1所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，所述步骤2中整合过程为：在实体抽取基本模型上叠加领域预训练模型进行训练。

6.根据权利要求1所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，所述步骤3中模块替换策略使用6个未经训练的transformer encoder block对ELETRIC-BERT中已经训练好的12个transformer encoder block进行学习，压缩之前的ELETRIC-BERT模型predecessor包含12个encoder block，将其分为6个模块，分别为[prd₁，prd₂，prd₃，...prd₆]，每个模块对应两个encoder block，压缩后模型successor也分为6个模块，各模块分别为[scc₁，scc₂，scc₃...，scc₆]，每个模块包含1个encoder block，将successor中的每个模块与predecessor中的每个模块一一对应，在相应的自然语言处理任务驱动下，进行两阶段训练。

7.根据权利要求6所述的基于ELETRIC-BERT的实体抽取方法，其特征在于，所述两阶段训练包括如下过程：

(1)整合训练

对于predecessor中的任一模块prd_i，通过伯努利分布，采样一个随机变量γ_i，采样概率为p，即γ_i为1的概率为p，为0的概率为1-p，如下式所示

γ_i～Bernoulli(p)

γ_i为1时，使用对应scc_i替换掉prd_i；为0时，则保持原来的prd_i不变；因此整合后的模型中任一个模块的输出y_i由下式表示

y_i＝γ_i*scc_i(y_i-1)+(1-γ)*prd_i(y_i-1)

模型训练一定次数直至收敛，转入微调训练阶段

(2)微调训练

将successor各个模块按照顺序串起来，在下游自然语言处理任务的驱动下，进行微调，更新相应参数。