[发明专利]一种Bert模型预训练方法、系统及计算机设备

说明书

本申请涉及一种Bert模型预训练方法、系统及计算机设备，其中，该Bert模型预训练方法包括：原始数据集获取步骤，用于获取原始数据集；数据集预处理步骤，用于将所述原始数据集经分词处理得到分词数据集，将所述分词数据集经Word2Vec模型训练得到全部词汇的词嵌入矩阵，并将所述词汇根据出现频率进行排序、编码，得到高频词汇、低频词汇及词汇编码；Bert模型预训练步骤，用于冻结所述Bert模型的词嵌入矩阵参数并基于所述全部词汇的词嵌入矩阵训练所述Bert模型后，减小学习率并输入所述词汇编码再次训练所述Bert模型。通过本申请，优化模型参数的收敛，有效防止模型震荡。

技术领域

本申请涉及互联网技术领域，特别是涉及一种Bert模型预训练方法、系统及计算机设备。

背景技术

随着深度学习技术的崛起，越来越多的预训练模型开始应用于自然语言处理任务中，对模型效果产生了巨大的提升。早期的自然语言预训练使用的是word2vec等词向量方法，将高维稀疏词向量映射到稠密低维向量，以作为后续模型的输入。而随着深度学习的发展，一些更加强大的预训练模型被提出，Bert可看作其中的代表，借助于Bert的强大预训练，在很多任务上都达到了当前最佳效果。

自然语言预训练模型除了可以应用于自然语言处理任务中，还能将其应用于其他的序列数据中。如大数据互联网公司中收集到的用户观看点击过的广告或者商品便可以当做类似自然语言数据集来进行处理建模。但是这种数据与自然语言数据集也有一些重要的区别，广告和商品数据的数量通常是非常大的，如互联网上的广告种类一般有百万以上，而电商商品种类可能会更多。而在自然语言数据集中，词汇数量常常只有几万，这导致模型难以处理这种上百万词表(即上百万的商品或者广告)，因为过大的词表需要很大的词嵌入矩阵来储存，也即模型需要学习更多的参数，这将导致模型过大参数过多。此外，词表中词汇的出现频率分布通常是长尾分布的，也即小部分词汇出现的频率非常高，而大部分词汇出现的频率非常低，这也导致模型学习更加困难。

现有的使用Bert模型预训练大词表数据集的方法一般采用两步预训练：(1)预处理数据集，将所有出现的词汇按频率排序，仅保留出现频率最高的n个词汇，其余的词全部采用词‘“UNK”’(unknown)来进行表示。然后使用word2vec来进行预训练，以得到所有词的词嵌入向量；(2)将word2vec预训练得到的词嵌入矩阵代入Bert模型词嵌入矩阵中进行初始化，然后预训练Bert模型。

基于上述预训练方法，在训练word2vec之前直接将频率排名前n之后的词汇设置成相同的一个词“UNK”会损失掉很多词信息，使预处理过程中很多表示不同信息的词均使用了同一个词来进行表示了；另一方面，直接使用word2vec预训练好的词嵌入矩阵来初始化Bert模型词嵌入矩阵并随着Bert模型一起进行训练可能会导致已经训练好词嵌入矩阵学习变差。

发明内容

本申请实施例提供了一种Bert模型预训练方法、系统、计算机设备和计算机可读存储介质，优化模型参数的收敛，有效防止模型震荡。

第一方面，本申请实施例提供了一种Bert模型预训练方法，包括：

原始数据集获取步骤，用于获取原始数据集；

数据集预处理步骤，用于将所述原始数据集经分词处理得到分词数据集，将所述分词数据集经Word2Vec模型训练得到全部词汇的词嵌入矩阵，并将所述词汇根据出现频率进行排序、编码，得到高频词汇、低频词汇及词汇编码；

Bert模型预训练步骤，用于冻结所述Bert模型的词嵌入矩阵参数并基于所述全部词汇的词嵌入矩阵训练所述Bert模型后，减小学习率并输入所述词汇编码再次训练所述Bert模型。