[发明专利]基于知识图谱的文本高效精准噪词处理方法

权利要求书

1.基于知识图谱的文本高效精准噪词处理方法，其特征在于：包括如下步骤：

S1、搭建需过滤词词库、搭建业务知识图谱添加业务相关词的各种同音词；

S2、给以上每个词添加权重；

S3、通过分词工具对文本进行分词；

S4、先通过业务知识图谱将文本同音词矫正为业务词并记录所有文本出现的业务词；

S5、矫正后的文本匹配过滤词，但记录的业务词保留不受过滤影响；

S6、输出过滤后文本。

2.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S1中过滤词词库与网络数据相连，并对于词库进行分类，包括政权、色情、暴力、近义和隐晦型词语，并对于其进行交叉语义交织网络的建立。

3.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S1中知识图谱记录了各种标签、概念、实体的关系；

所述知识图谱添加业务相关词，与过滤词词库相互引用，并对于重叠性词语进行标记，而且分析词语其后关系，是否产生新的词义，从而避免词语错误。

4.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S2中权重通过打分法、统计法、序列综合法、公式法、数理统计法、层次分析法和复杂度分析法中的一种或多种配合使用。

5.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S3中分词工具是根据语法统计规则或自定义词典将文本切分成单词片段工具，从而将词语分为1-5字的组合词语。

6.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S4中通过知识图谱与文本进行词语对照，并与过滤词相互对比，去除过滤词语，而一些分段型词语，进行分离与备注。

7.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S5中记录的业务词依然进行保存，接着引入到过滤词词库中，配合过滤词库进行筛选，同时配合文本匹配过滤词，从而降低错误率。

8.根据权利要求1所述的基于知识图谱的文本高效精准噪词处理方法，其特征在于，所述S6中输出过滤后文本后需要人工进行判断的，需要进行批注，并对于词语进行标注、着色，待审阅人员同意后进行确定。