[发明专利]基于知识图谱的文本高效精准噪词处理方法

说明书

本发明公开了基于知识图谱的文本高效精准噪词处理方法，包括如下步骤：S1、搭建需过滤词词库、搭建业务知识图谱添加业务相关词的各种同音词；S2、给以上每个词添加权重；S3、通过分词工具对文本进行分词；S4、先通过业务知识图谱将文本同音词矫正为业务词并记录所有文本出现的业务词；S5、矫正后的文本匹配过滤词，但记录的业务词保留不受过滤影响；S6、输出过滤后文本，本发明过滤文本数据，精确稳定可以灵活拓展和实时修改，能克服文本多音同义词的干扰，过滤噪词的同时完好保留句意，在口语转文本的场景提供了高效精准的噪词过滤处理能力。

技术领域

本发明涉及知识图谱技术领域，具体为基于知识图谱的文本高效精准噪词处理方法。

背景技术

知识图谱（Knowledge Graph），在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系，知识图谱，是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论，知识图谱，它能为学科研究提供切实的、有价值的参考；

但是目前的高效精准噪词处理方法在敏感词过滤通过完整的敏感词词库和文本单词进行匹配，在文本发现敏感词会将该词从文本过滤掉，并且只关注敏感词，口语环境中很多语音助词属于噪词，没有针对口语转文本的噪词过滤能力，同音同义词在过滤时容易处理不当误删除或漏删除，影响句意。

发明内容

本发明提供基于知识图谱的文本高效精准噪词处理方法，可以有效解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于知识图谱的文本高效精准噪词处理方法，包括如下步骤：

S1、搭建需过滤词词库、搭建业务知识图谱添加业务相关词的各种同音词；

S2、给以上每个词添加权重；

S3、通过分词工具对文本进行分词；

S4、先通过业务知识图谱将文本同音词矫正为业务词并记录所有文本出现的业务词；

S5、矫正后的文本匹配过滤词，但记录的业务词保留不受过滤影响；

S6、输出过滤后文本。

根据上述技术方案，所述S1中过滤词词库与网络数据相连，并对于词库进行分类，包括政权、色情、暴力、近义和隐晦型词语，并对于其进行交叉语义交织网络的建立。

根据上述技术方案，所述S1中知识图谱记录了各种标签、概念、实体的关系；

所述知识图谱添加业务相关词，与过滤词词库相互引用，并对于重叠性词语进行标记，而且分析词语其后关系，是否产生新的词义，从而避免词语错误。

根据上述技术方案，所述S2中权重通过打分法、统计法、序列综合法、公式法、数理统计法、层次分析法和复杂度分析法中的一种或多种配合使用。

根据上述技术方案，所述S3中分词工具是根据语法统计规则或自定义词典将文本切分成单词片段工具，从而将词语分为1-5字的组合词语。

根据上述技术方案，所述S4中通过知识图谱与文本进行词语对照，并与过滤词相互对比，去除过滤词语，而一些分段型词语，进行分离与备注。

根据上述技术方案，所述S5中记录的业务词依然进行保存，接着引入到过滤词词库中，配合过滤词库进行筛选，同时配合文本匹配过滤词，从而降低错误率。

根据上述技术方案，所述S6中输出过滤后文本后需要人工进行判断的，需要进行批注，并对于词语进行标注、着色，待审阅人员同意后进行确定。