[发明专利]一种NLP文本安全审核多级检索系统

摘要

本发明公开了一种NLP文本安全审核多级检索系统，利用压缩前缀树的数据结构进行数据的存储和查找，查询速度快，且内存占用比使用字典树数据结构降低了两千多倍，关键词匹配子模块、句子相似度匹配子模块和文本分类深度学习子模块构成三级搜索的层级搜索结构，查询准确率高，既能覆盖到显性敏感词的搜索，同时能从语义上进行文本内容安全审核，在准确率、容错率以及覆盖率上都有保障，又能提高系统的模型泛化能力，解决了现有的NLP文本安全审核系统使用Trie树的数据结构进行存储，占用存储空间大，增加了服务器的内存成本，不便于在同一台服务器上大规模部署，在性能上难以达到最优，以及模型泛化能力受限制，预测准确性不稳定的技术问题的技术问题。