[发明专利]一种文本反垃圾的方法及装置

权利要求书

1.一种文本反垃圾的方法，其特征在于，包括：

接收来自业务平台的待识别文本；

对所述待识别文本进行预处理，所述预处理为对所述待识别文本中的预设字符进行过滤或转换；

通过预设规则对经过预处理的待识别文本进行识别，识别所述待识别文本是否为垃圾文本；

向所述业务平台发送对所述待识别文本的识别结果；

所述通过预设规则对经过预处理的待识别文本进行识别，识别所述待识别文本是否为垃圾文本，包括：

将经过预处理的待识别文本与预设的规则集合中的规则进行匹配，若匹配中所述规则集合中的规则，则确定所述待识别文本为垃圾文本；

所述预设的规则集合中的规则包括：标点符号占比规则、字符重复比例规则、分词后的词平均长度规则、最长数字字母串规则、URL安全等级规则；

其中，所述标点符号占比规则为：文本中的标点符号所占的比例大于第一预设比例，则认为文本为垃圾文本；

所述字符重复比例规则为：文本中的相同的字符数量占文本中字符总数量的比例为字符重复比例，若该字符重复比例大于第二预设比例，则认为文本为垃圾文本；

所述分词后的词平均长度规则：对文本进行分词后词的平均长度小于第一预设值时，则认为文本为垃圾文本；

所述最长数字字母串规则：文本中连续出现的数字的数量以及连续出现的字母的数量达到第二预设值，则认为文本为垃圾文本；

所述URL安全等级规则：发送文本的用户的URL安全等级低于预设等级，则认为文本为垃圾文本。

2.根据权利要求1所述的方法，其特征在于，所述对所述待识别文本进行预处理包括：

对所述待识别文本进行表情符号过滤处理、标点符号过滤处理和特殊字符转换处理中的至少一项处理，所述特殊字符转换处理为将所述待识别文本中的特殊字符转换为常规字符。

3.根据权利要求2所述的方法，其特征在于，所述通过预设规则对经过预处理的待识别文本进行识别，识别所述待识别文本是否为垃圾文本，还包括以下至少一项：

将经过预处理的待识别文本与预设的关键词集合中的关键词进行匹配，若匹配中所述关键词集合中的关键词，则确定所述待识别文本为垃圾文本；

将经过预处理的待识别文本与句库中的句子进行模糊匹配，若所述句库中存在句子与所述经过处理的待识别文本的相似度达到第一预设值，则确定所述待识别文本为垃圾文本；

通过机器学习模型确定所述待识别文本是否为垃圾文本。

4.根据权利要求2或3所述的方法，其特征在于，所述通过预设规则对经过预处理的待识别文本进行识别，包括：

确定预设时间段内接收到雷同的待识别文本数量；

若所述预设时间段内接收到雷同的待识别文本数量大于第二预设值，则确定所述雷同的待识别文本为垃圾文本。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收黑名单设置指令，所述黑名单设置指令用于指示将发送垃圾文本的身份标识ID加入黑名单；

将所述黑名单设置指令指示的ID加入黑名单。