[发明专利]基于掩码语言模型的语料检测方法、装置、设备及介质

权利要求书

1.一种基于掩码语言模型的语料检测方法，其特征在于，所述方法应用于掩码语言模型，所述掩码语言模型包括生成器和判别器；所述方法包括：

将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布；

将所述概率分布输入到所述判别器进行训练，得到所述概率分布对应的预测结果，所述预测结果包括所述语料单词是否被替换过；

根据所述语料单词的类别，在所述判别器中输入分类标签，通过所述判别器基于分类标签以及语料单词调整所述预测结果，得到上下文向量；

根据所述上下文向量检测所述待训练的语料单词的状态；

所述将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布，包括：

将所述待训练的语料单词对应的词向量输入生成器中，所述词向量包括单词维度、句子维度和位置维度；

通过所述生成器将所述单词维度、句子维度和位置维度叠加后的词向量输入到所述生成器的编码器中进行编码，得到各个维度词向量，其中，所述编码器包括多个；

按照预设替换规则将所述维度词向量中的部分单词随机替换掉，得到各个维度词向量对应的概率分布；

其中，在所述待训练的语料单词对应的词向量的维度为所述句子维度，且输入的待训练的语料单词包括两句话条件下，所述词向量输入生成器对不同的句子添加不同的词向量；

在所述待训练的语料单词对应的词向量的维度为所述位置维度，且所述待训练的语料单词中包括不同位置的同一单词的条件下，根据单词的位置信息添加不同的词向量，并且，在词向量的偶数位置用正弦函数编码，在词向量的奇数位置用余弦函数编码。

2.根据权利要求1所述的方法，其特征在于，所述待训练的语料单词的类别为日志文件类别，所述将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布之前，所述方法包括：

对待训练的日志文件进行预处理。

3.根据权利要求1所述的方法，其特征在于，所述将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布之后，所述方法还包括：

计算所述生成器的损失函数，且根据所述生成器的损失函数调整所述生成器；

所述根据所述上下文向量检测所述待训练的语料单词的状态之后，所述方法还包括：

计算所述判别器的损失函数，且根据所述判别器的损失函数调整所述判别器。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述生成器的损失函数与所述判别器的损失函数叠加，得到总体损失函数，以调整所述掩码语言模型。

5.根据权利要求1所述的方法，其特征在于，所述将所述概率分布输入到所述判别器进行训练，得到所述概率分布对应的预测结果，所述预测结果包括所述语料单词是否被替换过，包括：

通过所述判别器对所述概率分布对应的词向量按照预设替换概率进行替换，以预测所述概率分布对应的词向量是否被替换过，得到预测结果，所述预测结果存储于区块链中。

6.根据权利要求1所述的方法，其特征在于，所述待训练的语料单词的类别为日志文件类别，所述根据所述语料单词的类别，在所述判别器中输入分类标签，通过所述判别器基于分类标签以及语料单词调整所述预测结果，得到上下文向量，包括：

在判别器中，将日志文件对应的首个单词替换为分类标签；

将所述日志文件对应的所有单词均输入到编码器进行训练后，将分类标签对应的向量输入到二分类的神经网络中进行训练，输出上下文向量，所述上下文向量的第一个位置与所述分类标签对应；

所述根据所述上下文向量检测所述待训练的语料单词的状态，包括：

根据所述上下文向量的第一个位置判断所述日志文件的异常情况。