[发明专利]基于掩码语言模型的语料检测方法、装置、设备及介质

说明书

本申请涉及人工智能，具体公开了一种基于掩码语言模型的语料检测方法、装置、设备及介质，所述方法包括：将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布；将所述概率分布输入到所述判别器进行训练，得到所述概率分布对应的预测结果，所述预测结果包括所述语料单词是否被替换过，所述预测结果存储于区块链节点中；根据所述语料单词的类别，在所述判别器中输入分类标签，通过所述判别器基于分类标签以及语料单词调整所述预测结果，得到上下文向量；根据所述上下文向量检测所述待训练的语料单词的状态。有效提高模型训练效率，且能高效准确的判断日志文件的异常情况。

技术领域

本申请涉及智能决策技术领域，尤其涉及一种基于掩码语言模型的语料检测方法、装置、计算机设备及介质。

背景技术

在文本处理时，日志文件的异常检测在现代大型分布式系统的管理中起着重要的作用，其广泛用于记录系统运行时信息的日志中。目前，运维人员通常是使用关键字搜索和规则匹配来检查并匹配日志。然而，随着工作量和业务需求的增加，人工检测所需时长也相应增长，变得更加耗时耗力。为了减少人工工作量和同时为了提高目前检测的正确率，基于深度学习的日志异常检测方法在异常检测方向的应用逐渐增加。

目前比较流行的文本处理模型就是基于掩码预训练语言模型，但由于其对于计算资源要求很高，训练成本和运行时长的限制了对模型的修改以及训练。

发明内容

本申请提供了一种智能决策的一种基于掩码语言模型的语料检测方法、装置、计算机设备及介质，有效提高模型训练效率，且能高效准确的判断日志文件的异常情况。

第一方面，本申请提供了一种基于掩码语言模型的语料检测方法，所述方法应用于掩码语言模型，所述掩码语言模型包括生成器和判别器；所述方法包括：

将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布；

将所述概率分布输入到所述判别器进行训练，得到所述概率分布对应的预测结果，所述预测结果包括所述语料单词是否被替换过；

根据所述语料单词的类别，在所述判别器中输入分类标签，通过所述判别器基于分类标签以及语料单词调整所述预测结果，得到上下文向量；

根据所述上下文向量检测所述待训练的语料单词的状态；所述语料单词的类别包括日志文件类别。

第二方面，本申请还提供了一种语料检测装置，所述装置包括：

第一训练模块，用于将待训练的语料单词输入所述生成器进行训练，得到所述语料单词对应的概率分布；

第二训练模块，用于将所述概率分布输入到所述判别器进行训练，得到所述概率分布对应的预测结果，所述预测结果包括所述语料单词是否被替换过；

调整模块，用于根据所述语料单词的类别，在所述判别器中输入分类标签，通过所述判别器基于分类标签以及语料单词调整所述预测结果，得到上下文向量；

检测模块，用于根据所述上下文向量检测所述待训练的语料单词的状态。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的基于掩码语言模型的语料检测方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的基于掩码语言模型的语料检测方法。