[发明专利]异常文本的检测方法和装置

说明书

技术领域

本申请涉及信息处理技术领域，尤其涉及一种异常文本的检测方法和装置。

背景技术

现有技术中，对目标文本的异常识别多通过人工方式，或者人工建立异常词表，通过机器基于该异常词表对目标文本进行简单的匹配查询，以确定目标文本的异常。

上述识别目标文本异常的方法，需要不断人工添加异常词，无法自动进行异常词表的扩展，同时，对于一些经常与异常赋值较高的异常词同时出现，但是其本身又不具有明显的色情、暴力、反动含义的词，上述方法无法识别，从而导致识别目标文本异常的效果较差。

因此，如何提供一种异常文本的检测方法或设备，同时提高机器识别目标文本异常的准确率，成为目前急需解决的问题之一。

发明内容

本申请的多个方面提供一种异常文本的检测方法和装置，可以提高机器识别目标文本异常的准确率。

本申请实施例提供一种异常文本的检测方法，

获取待检测文本，对待检测文本进行分词和语义分析，确定待检测文本中的异常词；

获取发布待检测文本的用户行为日志，根据用户行为日志确定用户行为的异常值；

计算待检测文本中的异常词在待检测文本中的重要性权值；

当用户行为的异常值大于预设的异常阈值，且异常词在待检测文本中的重要性权值大于预设的权值阈值时，确定待检测文本为异常文本。

可选地，对待检测文本进行分词和语义分析，确定待检测文本中的异常词，包括：

对待检测文本进行基于字符串匹配的分词、基于语义理解的分词和基于语义统计的分词处理；

在预设的异常词库中进行匹配，确定待检测文本中存在的异常词。

可选地，获取发布待检测文本的用户行为日志，根据用户行为日志确定用户行为的异常值，包括：

获取发布待检测文本的用户行为日志；

根据用户行为日志提取用户行为特征；

根据用户行为特征确定用户行为的异常值。

可选地，计算待检测文本中的异常词在待检测文本中的重要性权值，包括：

根据异常词在待检测文本中出现的频率确定异常词在待检测文本中的重要性权值。

可选地，所述用户行为特征包括用户通信量和用户通信时间；

根据用户行为特征确定用户行为的异常值，包括：

分别确定用户通信量和用户通信时间的异常值；

根据用户通信量和用户通信时间的异常值，综合确定用户行为的异常值。

本申请还提供一种异常文本的检测装置，包括：

第一确定模块，用于对获取的待检测文本进行分词和语义分析，确定待检测文本中的异常词；

第二确定模块，用于获取发布待检测文本的用户行为日志，根据用户行为日志确定用户行为的异常值；

计算模块，用于计算待检测文本中的异常词在待检测文本中的重要性权值；

第三确定模块，用于当用户行为的异常值大于预设的异常阈值，且异常词在待检测文本中的重要性权值大于预设的权值阈值时，确定待检测文本为异常文本。

可选地，所述的装置还包括：

分词模块，用于对待检测文本进行基于字符串匹配的分词、基于语义理解的分词和基于语义统计的分词处理；

所述第一确定模块，用户将分词模块分词处理后的分词在预设的异常词库中进行匹配，确定待检测文本中存在的异常词。

可选地，所述的装置还包括：

提取模块，用于获取发布待检测文本的用户行为日志，根据用户行为日志提取用户行为特征；

所述第二确定模块，用于根据提取模块得到的用户行为特征确定用户行为的异常值。

可选地，所述计算模块，用于根据异常词在待检测文本中出现的频率确定异常词在待检测文本中的重要性权值。

可选地，所述用户行为特征包括用户通信量和用户通信时间；

所述第二确定模块，用于分别确定用户通信量和用户通信时间的异常值，根据用户通信量和用户通信时间的异常值，综合确定用户行为的异常值。