[发明专利]异常文本检测方法及装置

权利要求书

1.一种异常文本检测方法，包括：

对待检测文本进行预处理，得到与所述待检测文本相对应的第一中间文本；

提取所述第一中间文本中的特征数据，所述特征数据是基于所述第一中间文本的内容结构数据提取的，所述内容结构数据包括段落结构数据和字符结构数据中至少一种；

基于所述特征数据，对所述待检测文本进行检测；

在检测结果指示所述待检测文本中包含异常内容的情况下，确定所述待检测文本为异常文本；

所述基于所述特征数据，对所述待检测文本进行检测，包括：

将所述特征数据作为异常内容检测模型的输入向量，利用所述异常内容检测模型对所述待检测文本进行检测，所述异常内容检测模型通过孤立森林iForest算法构建并训练得到，用于通过特征分割的次数区分异常文本和正常文本；

所述对待检测文本进行预处理，包括以下至少一项：

将所述待检测文本中包含的内容资源链接替换为第一预设字符；

将所述待检测文本中包含的表情符号替换为第二预设字符。

2.根据权利要求1所述方法，所述对待检测文本进行预处理，还包括：

在所述待检测文本的文本末尾包含连续标点符号的情况下，去除所述连续标点符号。

3.根据权利要求2所述方法，提取所述第一中间文本中的特征数据，包括：

基于所述第一中间文本的内容结构数据，提取所述特征数据。

4.根据权利要求3所述方法，所述段落结构数据包括段落个数和段落长度；

则基于所述第一中间文本的所述内容结构数据，提取所述特征数据，包括：

确定所述第一中间文本中所包含的段落，得到段落个数；

统计所述第一中间文本中每个段落的长度，得到至少一个段落长度；

基于所述段落个数和所述至少一个段落长度，确定所述第一中间文本的平均段落长度；

根据所述段落个数、所述至少一个段落长度和所述平均段落长度中至少一项，确定所述特征数据。

5.根据权利要求3所述方法，所述字符结构数据包括文本字符总个数；

则基于所述第一中间文本的所述内容结构数据，提取所述特征数据，包括：

统计所述第一中间文本中所包含的字符的个数，作为所述文本字符总个数；

根据所述文本字符总个数，确定所述特征数据。

6.根据权利要求5所述方法，所述字符结构数据还包括非汉字字符个数、非数字字符个数和非字母字符个数；

则基于所述第一中间文本的所述内容结构数据，提取所述特征数据，包括：

统计所述第一中间文本中所包含的非汉字字符的个数、非数字字符的个数和非字母字符的个数，分别对应得到非汉字字符个数、非数字字符个数和非字母字符个数；

计算所述非汉字字符个数、所述非数字字符个数和所述非字母字符个数之和，作为目标字符个数；

基于所述目标字符个数与所述文本字符总个数，确定目标字符占比；

根据所述目标字符个数和所述目标字符占比中至少一项，确定所述特征数据。

7.根据权利要求5所述方法，所述字符结构数据还包括标点符号个数；

则基于所述第一中间文本的所述内容结构数据，提取所述特征数据，包括：

统计所述第一中间文本中所包含的标点符号的个数，得到标点符号个数；

基于所述标点符号个数与所述文本字符总个数，确定标点符号占比；

根据所述标点符号个数和所述标点符号占比中至少一项，确定所述特征数据。

8.根据权利要求5所述方法，所述字符结构数据还包括每种指定字符的个数；

则基于所述第一中间文本的所述内容结构数据，提取所述特征数据，包括：

统计所述第一中间文本中所包含的每种所述指定字符的个数；

基于每种所述指定字符的个数和所述文本字符总个数，确定每种所述指定字符的占比；

根据每种所述指定字符的个数和每种所述指定字符的占比中至少一项，确定所述特征数据；

其中，所述指定字符包括繁体字符、日文字符、字母字符中至少一种。