[发明专利]电力领域模型预训练方法、精调方法、装置及设备

权利要求书

1.一种电力领域模型的精调方法，其特征在于，包括：

针对下游任务构建训练用数据集；

将电力领域预训练模型中除输出层以外的其他网络结构作为底层编码器，并根据所述下游任务构建输出层网络结构，将所述输出层网络结构连接至所述底层编码器之后，得到针对下游任务的电力领域模型，所述电力领域预训练模型的预训练语料是通过对原始电力语料数据进行分词处理之后采用全词遮蔽得到的，且所述电力领域预训练模型包括注意力矩阵，所述注意力矩阵引入了词与词之间的相对位置编码；

利用所述训练用数据集对所述针对下游任务的电力领域模型进行训练；

其中，引入了词与词之间的相对位置编码的所述注意力矩阵的算法公式为：

Attention_rel(Q，K，V)= Attention (Q，K，V)+rel

其中，Attention (Q，K，V)为未引入所述相对位置编码的注意力矩阵的算法公式，V是输入特征的向量，Q、K是计算Attention权重的特征向量，rel是词与词之间的相对位置有关的参数；

所述下游任务为分类任务时，所述输出层网络结构为全连接网络；且所述底层编码器与所述全连接网络之间还包括第一网络结构；

所述第一网络结构用于抽取所述底层编码器中的第一层和最后一层的编码向量并求平均，得到第一编码向量，再对各个词的所述第一编码向量取平均得到所述底层编码器的编码向量；

所述全连接网络用于基于所述底层编码器的编码向量输出每个类别对应的置信度；

所述下游任务为序列标注任务时，所述输出层网络结构为条件随机场，且所述底层编码器与条件随机场层之间还包括Dropout层和映射层；

所述底层编码器的输出为batch_size，time_steps，hidden_size形状的张量，其中，batch_size为批大小、time_steps为序列长度、hidden_size为所述底层编码器的隐层单元大小；

所述底层编码器的输出经过所述Dropout层和所述映射层转换为batch_size, time_steps, num_classes形状的张量，其中，num_classes为目标类的数量；

所述条件随机场层用于基于所述batch_size, time_steps, num_classes形状的张量得到整个序列中每个元素的标签。

2.根据权利要求1所述的方法，其特征在于，所述电力领域预训练模型是通过以下方法得到：

获取原始电力语料数据；

对所述原始电力语料数据进行处理，所述处理至少包括分词处理；

对处理后得到的电力语料数据，采用全词遮蔽的方法，构建电力领域模型的预训练语料；

构建电力领域模型；

利用所述预训练语料，对所述电力领域模型进行预训练。

3.根据权利要求2所述的方法，其特征在于，所述对所述原始电力语料数据进行处理，包括：

采用BERT-CRF模型和电力领域词典对所述原始电力语料数据进行分词处理，所述BERT-CRF模型是利用电力分词语料进行训练得到。

4.根据权利要求2所述的方法，其特征在于，所述对处理后得到的电力语料数据，采用全词遮蔽的方法，构建电力领域模型的预训练语料，包括：

对所述处理后得到的电力语料数据采用预设概率进行随机全词遮蔽，将所有需要遮蔽的词语对应的字符中的一部分替换为随机字符、另一部分替换为遮蔽符号、剩余部分保留原来的字符不变。