[发明专利]垃圾信息的检测方法、设备和存储介质

权利要求书

1.一种垃圾信息的检测方法，其特征在于，包括：

将待检测信息输入预先训练的bert识别模型的编码层进行编码，得到所述待检测信息对应的编码特征向量；

将所述待检测信息对应的编码特征向量输入预先训练的bert识别模型的解码层进行解码，并利用所述解码层对应的判决模型，计算所述待检测信息对应的编码特征向量对应的概率；

若所述概率大于或等于预设概率，确定所述待检测信息为垃圾信息。

2.根据权利要求1所述的垃圾信息的检测方法，其特征在于，利用预先训练的bert识别模型的编码层对待检测信息进行编码，得到所述待检测信息对应的编码特征向量之前，还包括：

将获取的原始样本数据输入预设的bert预训练模型中的编码层进行编码，得到所述原始样本数据对应的编码特征向量；

利用所述原始样本数据对应的编码特征向量对bert预训练模型中解码层对应的判决模型进行K折交叉训练，得到对应于K组验证数据的K组模型参数；

根据所述K组模型参数和K组验证数据，计算对应于K组验证数据的K组误差数据；

根据所述K组误差数据，确定所述判决模型的优化参数；

根据所述判决模型的优化参数，对所述判决模型进行优化，得到优化bert预训练模型作为所述bert识别模型。

3.根据权利要求2所述的垃圾信息的检测方法，其特征在于，利用所述原始样本数据对应的编码特征向量对bert预训练模型中解码层对应的判决模型进行K折交叉训练，得到对应于K组验证数据的K组模型参数，包括：

将所述原始样本数据对应的编码特征向量划分为K组，得到K组样本向量数据；

遍历地将所述K组样本向量数据中的其中一组样本向量数据作为验证数据，并将K-1组样本向量数据作为训练数据，利用训练数据对所述判决模型进行训练，得到对应于各组验证数据的模型参数。

4.根据权利要求3所述的垃圾信息的检测方法，其特征在于，根据所述K组模型参数和K组验证数据，计算对应于K组验证数据的K组误差数据，包括：

利用K组模型参数下的判决模型，对K组验证数据进行预测，得到K组验证数据的K组概率；

根据K组验证数据的K组概率，确定K组验证数据对应的K组预测结果；

根据K组验证数据和K组预测结果，确定K组误差数据。

5.根据权利要求2所述的垃圾信息的检测方法，其特征在于，所述将获取的原始样本数据输入预设的bert预训练模型中的编码层进行编码，得到所述原始样本数据对应的编码特征向量之后，还包括：

锁定所述编码层的参数。

6.根据权利要求2所述的垃圾信息的检测方法，其特征在于，根据所述K组误差数据，确定所述判决模型的优化参数，包括：

根据所述K组误差数据，计算各组模型参数的权重；

根据所述权重对所述K组模型参数进行加权平均，得到平均模型参数作为所述判决模型的优化参数。

7.根据权利要求2所述的垃圾信息的检测方法，其特征在于，所述判决模型包括全连接神经网络的损失函数或带核函数的支持向量机的损失函数。

8.根据权利要求2所述的垃圾信息的检测方法，其特征在于，若所述判决模型包括全连接神经网络的损失函数，对bert预训练模型中解码层对应的判决模型进行K折交叉训练，得到对应于K组验证数据的K组模型参数之前，还包括：

若所述原始样本数据的数目小于预设阈值，在所述全连接神经网络的损失函数中添加正则化项，以更新所述全连接神经网络的损失函数。

9.一种垃圾信息的检测设备，其特征在于，包括存储器和处理器；

所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述垃圾信息的检测方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被控制器执行时实现如权利要求1至8中任一项所述垃圾信息的检测方法的步骤。