[发明专利]敏感词过滤方法、装置、计算机设备及存储介质有效
申请号: | 201811528671.X | 申请日: | 2018-12-13 |
公开(公告)号: | CN109684469B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 张中楫 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/335 | 分类号: | G06F16/335;G06F16/9032 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 黄章辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 敏感 过滤 方法 装置 计算机 设备 存储 介质 | ||
1.一种敏感词过滤方法,其特征在于,包括:
获取客户端发送的原始字符串和场景应用类型;
采用正则表达式匹配算法对所述原始字符串进行初步过滤,获取有效字符串;
采用与所述场景应用类型相对应的预设提取规则,对所述有效字符串进行提取,获取待测字符串,所述待测字符串包括按照顺序标签存储的至少一个待测字符;
采用改进多模式匹配算法对所述待测字符串进行敏感词检测,获取目标敏感词;
对所述目标敏感词进行字符替换处理,获取目标字符串,并在所述客户端显示所述目标字符串;
其中,所述采用改进多模式匹配算法对所述待测字符串进行敏感词检测,获取目标敏感词,包括:
根据预先创建的敏感词库构建字母树,所述字母树包括成功指针、失败指针和根节点;
基于所述字母树,按照所述待测字符串中的待测字符的顺序标签,依序对所述待测字符串中的所述待测字符进行敏感词检测;
若第一顺序标签对应的第一待测字符在字母树中存在,则将所述第一待测字符作为当前节点,按照字母树中成功指针的路径,将所述成功指针指向下一个节点对应的特定字符;
若所述特定字符和第二顺序标签对应的第二待测字符匹配,则将所述第二待测字符作为当前节点,继续执行所述按照字母树中成功指针的路径,将成功指针指向下一个成功节点对应的特定字符的步骤,直至所述失败指针指向所述根节点时,终止循环,获取目标终止节点,基于所述根节点和所述终止节点按照所述字母树中成功指针的路径进行遍历,获取目标敏感词;
若所述特定字符和所述第二顺序标签对应的第二待测字符不匹配,则按照预设验证规则验证所述第一待测字符是否为敏感字符;
若所述第一待测字符为敏感字符,则将所述特定字符对应的失败指针指向所述当前节点对应的所述第一待测字符,以保留所述第一待测字符,并继续执行所述基于所述字母树,按照所述待测字符串中的待测字符的顺序标签,依序对所述待测字符串中的所述待测字符进行敏感词检测的步骤;
若所述第一待测字符为非敏感字符,则按照所述字母树中所述失败指针的指向,将所述失败指针指向失败字符节点,并继续执行所述基于所述字母树,按照所述待测字符串中的待测字符的顺序标签,依序对所述待测字符串中的所述待测字符进行敏感词检测的步骤,直至检测到所述待测字符串中的最后一个顺序标签对应的待测字符;
其中,所述根据预先创建的敏感词库构建字母树,包括:
根据所述预先创建的敏感词库按照公共前缀原则构建所述成功指针,获取成功树;所述成功树包括至少一个成功节点和一根节点;
判断所述成功节点的父亲节点是否为根节点;
若所述成功节点的父亲节点是所述根节点,则将所述成功节点的失败指针指向所述根节点;
若所述成功节点的父亲节点不是所述根节点,则获取所述成功节点的父亲节点,基于所述成功节点的父亲节点对应的失败字符节点按照所述成功指针的路径,获取与所述失败字符节点对应的待匹配子节点,若所述待匹配子节点与所述成功节点匹配,则将所述成功节点的失败指针指向所述待匹配子节点;
若所述待匹配子节点与所述成功节点不匹配,则将所述成功节点的父亲节点对应的失败字符节点作为当前字符节点,若所述当前字符节点的父亲节点不是所述根节点,则获取所述当前字符节点的父亲节点对应的失败字符节点的待匹配子节点;
若所述待匹配子节点与所述成功节点匹配,则将所述成功节点的失败指针指向所述待匹配子节点;直至所述当前字符对应的失败字符节点为所述根节点,则将所述成功节点的失败指针指向所述待匹配子节点,以生成所述字母树。
2.如权利要求1所述的敏感词过滤方法,其特征在于,在所述采用正则表达式匹配算法对所述原始字符串进行匹配,获取有效字符串的步骤之后,所述敏感词过滤方法还包括:
获取所述原始字符串的长度和与所述场景应用类型相对应的预设长度;
若所述原始字符串的长度大于所述预设长度,则执行所述采用与所述场景应用类型相对应的预设提取规则,对所述有效字符串进行提取,获取所述待测字符串的步骤;
若所述原始字符串的长度不大于所述预设长度,则将所述有效字符串作为所述待测字符串。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811528671.X/1.html,转载请声明来源钻瓜专利网。