[发明专利]一种文本审核方法、模型、设备及存储介质

说明书

本申请公开了一种文本审核方法、模型、设备及存储介质，包括：获取敏感词表和训练集；构建基于机器学习算法的文本分类模型，并利用文本分类模型提取所述训练文本的特征信息，以得到目标语料向量；基于敏感词表对训练文本进行敏感词匹配，以得到与训练文本中的敏感词对应的目标词汇向量；利用目标语料向量及目标词汇向量对文本分类模型进行训练，以得到训练后的文本分类模型；将待检测文本输入至训练后的文本分类模型，基于训练后的文本分类模型输出的待检测文本的敏感类别及置信度，确定待检测文本的审核结果。本申请利用敏感词匹配和文本分类实现了融合模式的端到端的文本审核功能，降低人工复审成本，提高文本审核效率及准确度。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种文本审核方法、模型、设备及存储介质。

背景技术

手机等网络信息传播媒体的增加，更多用户参与到网络信息的传播，使信息传播速度和能力增加，为网站内容管理提出了极大挑战。当前的文本审核的模式大多为匹配模型结合人工审核的模式，通过模型对信息进行筛选，减轻人工审核压力，匹配模型主要有敏感词匹配和分类模型。其中，敏感词匹配模型主要基于符号进行匹配，但误判较多，如无法识别在敏感词中插入符号,中英夹杂，拼音文字混合等的变体敏感内容，也无法有效识别含有敏感词但并非敏感内容的句子，分类模型主要基于统计分析，存在无法给出具体评判依据、灵活性不足等缺点，总体审核能力有限。综上所述，现有技术中至少存在文本审核准确度不高、人工复审成本较高的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种文本审核方法、模型、设备及存储介质，能够降低人工复审成本，提高文本审核效率及准确度。其具体方案如下：

本申请的第一方面提供了一种文本审核方法，包括：

获取敏感词表和训练集；其中，所述训练集包含训练文本以及对所述训练文本进行敏感类别标注后得到的标签信息；

构建基于机器学习算法的文本分类模型，并利用所述文本分类模型提取所述训练文本的特征信息，以得到目标语料向量；

基于所述敏感词表对所述训练文本进行敏感词匹配，以得到与所述训练文本中的敏感词对应的目标词汇向量；

利用所述目标语料向量及所述目标词汇向量对所述文本分类模型进行训练，以得到训练后的文本分类模型；

将待检测文本输入至所述训练后的文本分类模型，并基于所述训练后的文本分类模型输出的所述待检测文本的敏感类别及置信度，确定所述待检测文本的审核结果。

可选的，所述构建基于机器学习算法的文本分类模型，并利用所述文本分类模型提取所述训练文本的特征信息，以得到目标语料向量，包括：

利用激活函数为线性整流函数的文本卷积神经网络构建文本分类模型；

通过所述文本分类模型的嵌入层将所述训练文本映射为随机向量，以得到向量化文本；

利用卷积层及最大池化层提取所述向量化文本的特征信息，以得到目标语料向量。

可选的，所述基于所述敏感词表对所述训练文本进行敏感词匹配，以得到与所述训练文本中的敏感词对应的目标词汇向量，包括：

根据所述敏感词表，利用确定有穷自动机算法构建字典树；

利用所述字典树提取所述训练文本中的目标敏感词，并利用独热编码对所述目标敏感词进行处理，以得到目标词汇向量。

可选的，所述基于所述敏感词表对所述训练文本进行敏感词匹配，以得到目标词汇向量之后，还包括：

判断所述目标词汇向量的维数与所述目标语料向量的维数是否一致，如果所述目标词汇向量的维数与所述目标语料向量的维数不一致，则通过加和或点积的方式将所述目标词汇向量的维数调整至与所述目标语料向量的维数一致。