[发明专利]电力领域模型预训练方法、精调方法、装置及设备

说明书

本发明公开了一种电力领域模型预训练方法、精调方法、装置及设备，其中，所述预训练方法包括：获取原始电力语料数据；对所述原始电力语料数据进行处理，所述处理至少包括分词处理；对处理后得到的电力语料数据，采用全词遮蔽的方法，构建电力领域模型的预训练语料；构建电力领域模型，所述电力领域模型包括注意力矩阵，所述注意力矩阵引入了词与词之间的相对位置编码；利用所述预训练语料，对所述电力领域模型进行预训练。本发明提供的技术方案，能够提升预训练模型的迁移能力。

技术领域

本发明涉及人工智能技术领域，具体涉及一种电力领域模型预训练方法、精调方法、装置及设备。

背景技术

现有的自然语言处理 (NLP，Natural Language Processing)模型包含的参数可以达到上百万。因此，训练出具有良好性能的NLP模型需要大量的训练样本和标签数据。通常，采用人工对训练样本进行标注。因此，获取大量的标签数据，需要较高的人工成本。

在此背景下，预训练加精调的模式广泛应用于NLP模型训练。首先利用成本较低且容易获取的训练数据训练一个预训练模型。通过这种方式，预训练模型可以学习到语言学的通用知识。因此，针对不同的下游任务，可以利用其相关的标签数据对其相关的参数进行精调，使得训练的NLP模型具有良好性能。

但是，在自然语言处理模型的预训练阶段，由于并非是针对下游任务进行训练的，而是针对预训练阶段的任务（例如预测遮蔽的词语）进行训练的，因此会导致预训练出的模型的迁移能力弱，即在对预训练模型进行精调得到针对下游任务的模型时，模型的适应性差，预测精度低。

发明内容

有鉴于此，本发明实施例提供了一种电力领域模型预训练方法、精调方法、装置及设备，以解决现有自然语言处理的预训练模型的迁移能力弱的问题。

根据第一方面，本发明实施例提供了一种电力领域模型预训练方法，所述方法包括：

获取原始电力语料数据；

对所述原始电力语料数据进行处理，所述处理至少包括分词处理；

对处理后得到的电力语料数据，采用全词遮蔽的方法，构建电力领域模型的预训练语料；

构建电力领域模型，所述电力领域模型包括注意力矩阵，所述注意力矩阵引入了词与词之间的相对位置编码；

利用所述预训练语料，对所述电力领域模型进行预训练。

可选的，引入了词与词之间的相对位置编码的所述注意力矩阵的算法公式为：

Attention_rel(Q，K，V)= Attention (Q，K，V)+rel

其中，Attention (Q，K，V)为未引入所述相对位置编码的注意力矩阵的算法公式，rel是与词与词之间的相对位置有关的参数。

可选的，所述对所述原始电力语料数据进行处理，包括：

采用BERT-CRF模型和电力领域词典对所述原始电力语料数据进行分词处理，所述BERT-CRF模型是利用电力分词语料进行训练得到。

可选的，所述对处理后得到的电力语料数据，采用全词遮蔽的方法，构建电力领域模型的预训练语料，包括：