[发明专利]基于NLP技术的敏感词屏蔽方法和装置

说明书

本发明公开了一种基于NLP技术的敏感词屏蔽方法和装置，其中，所述方法包括获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。本发明公开的方案能够对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验。

技术领域

本发明属于词语屏蔽过滤技术领域，具体涉及一种基于NLP技术的敏感词屏蔽方法和装置。

背景技术

随着互联网的迅猛发展，人们的衣食住行越来越离不开网络，而随着网络的普及，我们会在互联网上看到一些不合适的言论，例如对他人的人身攻击，对政治的过激言论。这些不文明用语或者敏感词汇的传播会产生不良的社会影响或者造成较差的用户体验。

现有的敏感词屏蔽方法大多是直接判断用户的言论中是否有某个词在敏感词库中，然后直接将这些词替换成*号，有时用户只是恰巧不小心输入了敏感词库中的字，可能语境上完全不是不当言论，但是却被屏蔽了，给用户造成了不好的体验。并且由于敏感词库是预先设定好的，因此用户可以通过同音字或者谐音等方式绕过敏感词库，使得屏蔽的效果不佳。

因此，如何对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验。

为此，根据第一方面，本发明实施例公开了一种基于NLP技术的敏感词屏蔽方法，包括：

获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

可选地，在获取用于表征用户发送的信息内容的文本信息与基于NLP技术对文本信息进行语义分析并获取分析结果之间，还包括：对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

可选地，对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析包括：将文本信息转化为拼音信息；将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

可选地，基于NLP技术对文本信息进行语义分析并获取分析结果包括：分析文本信息中各个字段的组合概率以获取词向量；将词向量与预设敏感词库进行匹配以获取待分析敏感词向量，待分析敏感词向量为词向量中与预设敏感词库匹配一致的词向量；根据文本信息中的上下文信息判断待分析敏感词向量的真实语义，并基于真实语义生成分析结果。

可选地，判断分析结果是否合法是指判断待分析敏感词向量的真实语义是否为不需要进行屏蔽的正常言论。

根据第二方面，本发明实施例提供了一种基于NLP技术的敏感词屏蔽装置，包括：

文本信息模块，用于获取用于表征用户发送的信息内容的文本信息；分析结果模块，用于基于NLP技术对文本信息进行语义分析并获取分析结果；结果判断模块，用于判断分析结果是否合法；屏蔽信号模块，用于如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

可选地，还包括：相似分析模块，用于对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

可选地，相似分析模块包括：信息转化单元，用于将文本信息转化为拼音信息；信息匹配单元，用于将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；语义分析单元，用于将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。