[发明专利]基于Bi-LSTM的不良文本检测方法及装置

说明书

本发明公开了一种基于Bi‑LSTM的不良文本检测方法，包括：获取文本数据，并对获取的文本数据进行类型标记；对文本数据进行预处理，组成训练集；通过训练集训练模型的参数，当Bi‑LSTM双向循环神经网络模型产生的损失值迭代变化小于设定阈值不再降低，则终止Bi‑LSTM双向循环神经网络模型的训练，得到训练好的Bi‑LSTM双向循环神经网络模型；将待判定的文本数据预处理后输入训练好的Bi‑LSTM双向循环神经网络模型，输出判定结果。本发明从全文整体性角度来对文本内容进行理解、检测并分类，无需人工制定关键词典，对文本内容进行分词处理，实现了简洁、高效、高召回率的不良文本内容检测。

技术领域

本发明涉及网页内容检测领域，更具体地说，涉及一种基于Bi-LSTM的不良文本检测方法及装置。

背景技术

随着信息技术的飞速发展，互联网上的信息呈指数型不断增长，大量网页种类繁多，因此也夹杂着许多涉黄、涉政等不良文本内容。单纯依靠人工来对不良文本内容进行审核过滤，存在着工作量大，人力成本高等问题。因此，对Web页面的不良文本内容进行检测与识别是迫在眉睫的。

现有技术通常使用关键词匹配的方式来对文本内容进行检测。这种检测方式存在以下问题：没有对文本进行分词处理，关键词极易产生歧义匹配；关键词典由人工制定，局限性较大，覆盖性不够全面；忽略了文本理解的整体性原则。

发明内容

本发明提供一种基于Bi-LSTM的不良文本检测方法及装置，能够提高不良文本检测的准确率。

本发明解决其技术问题所采用的技术方案是：

第一方面，提供一种基于Bi-LSTM的不良文本检测方法，包括如下步骤：

S0、获取文本数据，并对获取的文本数据进行类型标记；

S1、对所述文本数据进行预处理，组成训练集；

S2、通过所述训练集训练Bi-LSTM双向循环神经网络模型的参数，当所述Bi-LSTM双向循环神经网络模型产生的损失值迭代变化小于设定阈值不再降低，则终止所述Bi-LSTM双向循环神经网络模型的训练，得到训练好的Bi-LSTM双向循环神经网络模型；

S3、将待判定的文本数据预处理后输入所述训练好的Bi-LSTM双向循环神经网络模型，输出判定结果。

在本发明提供的基于Bi-LSTM的不良文本检测方法中，在所述步骤S0中，通过编写网络爬虫获取Web网页数据，或从已有的数据库中直接获取的方式来获取所述文本数据。

在本发明提供的基于Bi-LSTM的不良文本检测方法中，所述步骤S1包括：

S11、对所述文本数据进行数据清洗，过滤html标签，保留纯文本信息；

S12、对所述纯文本信息进行调整UTF-8编码、去除非法符号的清洗操作；

S13、对步骤S12处理后的所述纯文本信息进行中文分词、去除停用词、低频词的操作，得到组成所述训练集的纯文本数据。

在本发明提供的基于Bi-LSTM的不良文本检测方法中，所述步骤S2具体包括：

S21、将所述纯文本数据转换为固定长度的词向量；

S22、将词向量输入到所述Bi-LSTM双向循环神经网络模型的BI-LSTM层，得到所述纯文本数据的前向向量和后向向量；

S23、将所述前向向量和所述后向向量输入到隐藏层，并将得到的隐藏向量拼接后输入到全连接层；

S24、将拼接后的隐藏向量的维度压缩至与检测类别一致的维度，使用Softmax计算每个纯文本数据属于标注的类型的概率；