[发明专利]垃圾信息的检测方法、设备和存储介质

说明书

本发明公开了一种垃圾信息的检测方法、设备和存储介质，方法包括：将待检测信息输入预先训练的bert识别模型的编码层进行编码，得到待检测信息对应的编码特征向量；将待检测信息对应的编码特征向量输入预先训练的bert识别模型的解码层进行解码，并利用解码层对应的判决模型，计算待检测信息对应的编码特征向量对应的概率；若概率大于或等于预设概率，确定待检测信息为垃圾信息。本发明的技术方案，能够实现了单个字或词与待检测信息的上下文建立很好地编码联系，提高了单个字或词的检测结果的准确性，进而能够降低垃圾信息的漏识别率、假识别率。

技术领域

本发明属于信息安全技术领域，具体涉及一种垃圾信息的检测方法、设备和存储介质。

背景技术

垃圾短信和垃圾邮件等垃圾信息困扰着大部分互联网用户群体。现有技术中，通常使用关键字匹配或者朴素贝叶斯分类方法对垃圾信息进行检测，这种检测方法虽然识别率较高，但考虑的仅是单个字或词对检测结果的影响，不涉及句子之间和上下文意思的理解，因此对一些金融诈骗、钓鱼邮件等故意逃避使用特定关键字的信息，拦截效果不是很好，存在漏识别问题；而对一些运营推广、客户营销、账单通知等含有特定关键字的信息又存在假识别的问题。

因此，如何降低垃圾信息的漏识别率、假识别率是本领域技术人员亟待解决的技术问题。

发明内容

本发明的主要目的是提供一种垃圾信息的检测方法、设备和存储介质，以解决现有技术中垃圾信息的漏识别率高、假识别率高的问题。

针对上述问题，本发明提供了一种垃圾信息的检测方法，包括：

将待检测信息输入预先训练的bert识别模型的编码层进行编码，得到所述待检测信息对应的编码特征向量；

将所述待检测信息对应的编码特征向量输入预先训练的bert识别模型的解码层进行解码，并利用所述解码层对应的判决模型，计算所述待检测信息对应的编码特征向量对应的概率；

若所述概率大于或等于预设概率，确定所述待检测信息为垃圾信息。

进一步地，上述所述的垃圾信息的检测方法中，利用预先训练的bert识别模型的编码层对待检测信息进行编码，得到所述待检测信息对应的编码特征向量之前，还包括：

将获取的原始样本数据输入预设的bert预训练模型中的编码层进行编码，得到所述原始样本数据对应的编码特征向量；

利用所述原始样本数据对应的编码特征向量对bert预训练模型中解码层对应的判决模型进行K折交叉训练，得到对应于K组验证数据的K组模型参数；

根据所述K组模型参数和K组验证数据，计算对应于K组验证数据的K组误差数据；

根据所述K组误差数据，确定所述判决模型的优化参数；

根据所述判决模型的优化参数，对所述判决模型进行优化，得到优化bert预训练模型作为所述bert识别模型。

进一步地，上述所述的垃圾信息的检测方法中，利用所述原始样本数据对应的编码特征向量对bert预训练模型中解码层对应的判决模型进行K折交叉训练，得到对应于K组验证数据的K组模型参数，包括：

将所述原始样本数据对应的编码特征向量划分为K组，得到K组样本向量数据；

遍历地将所述K组样本向量数据中的其中一组样本向量数据作为验证数据，并将K-1组样本向量数据作为训练数据，利用训练数据对所述判决模型进行训练，得到对应于各组验证数据的模型参数。

进一步地，上述所述的垃圾信息的检测方法中，根据所述K组模型参数和K组验证数据，计算对应于K组验证数据的K组误差数据，包括：

利用K组模型参数下的判决模型，对K组验证数据进行预测，得到K组验证数据的K组概率；