[发明专利]一种NLP文本安全审核多级检索系统

权利要求书

1.一种NLP文本安全审核多级检索系统，其特征在于，包括依次连接的环境检查模块、文本预处理模块、文本分类处理模块和结果解析模块；

环境检查模块用于对运行环境和数据库进行预检查和预加载；

文本预处理模块用于对文本数据进行预处理，去除冗余无效信息；

文本分类处理模块包括关键词匹配子模块、句子相似度匹配子模块和文本分类深度学习子模块；

关键词匹配子模块采用压缩前缀树进行数据存储和查找；

句子相似度匹配子模块用于在关键词匹配子模块匹配不成功时启用，句子相似度匹配子模块包括弹性搜索的高性能分布式子模块和分词子模块，弹性搜索的高性能分布式子模块用于结合海量的文本数据库进行匹配搜索，分词子模块用于在高性能分布式子模块匹配搜索过程中进行文本分词；

文本分类深度学习子模块用于在句子相似度匹配子模块匹配不成功时启用，采用预置文本分类深度学习模型进行文本分类；

结果解析模块用于根据文本分类处理模块的文本匹配结果进行解析和输出。

2.根据权利要求1所述的NLP文本安全审核多级检索系统，其特征在于，句子相似度匹配子模块还包括：

句子差异性计算子模块，用于计算查询文本和结果文本集合的最小编辑距离，根据最小编辑距离对高性能分布式子模块的匹配结果进行二次校验。

3.根据权利要求1所述的NLP文本安全审核多级检索系统，其特征在于，预置文本分类深度学习模型为浅层神经网络，浅层神经网络包括输入层、隐藏层和输出层。

4.根据权利要求1所述的NLP文本安全审核多级检索系统，其特征在于，结果解析模块具体用于：

按预置标签优先级对文本分类深度学习子模块的文本分类结果进行排序和输出。

5.根据权利要求1所述的NLP文本安全审核多级检索系统，其特征在于，环境检查模块具体用于：

预检查和预加载Redis数据库、ES数据库、FastText模型、Trie树模型和Trie树关键词列表。

6.根据权利要求1所述的NLP文本安全审核多级检索系统，其特征在于，文本预处理模块具体用于：

对文本数据进行标点符号清洗、单词纠正、停用词过滤、繁体转简体、分词、数字转文本、URL检测和IP检测。