[发明专利]文本的风险识别方法及装置

说明书

本说明书一个或多个实施例公开了一种文本的风险识别方法及装置，用以提高文本风险识别的准确率及召回率。所述方法包括：获取用于训练文本分类模型的多个样本语句；其中，各所述样本语句分别对应有各自的分类标签，所述分类标签用于表示所述样本语句是否为风险语句；对所述样本语句进行切分，得到多个样本切片，所述样本切片包括单词及非词；确定各所述样本切片的粒度特征，根据各所述样本切片的粒度特征确定各所述样本语句的语句特征；根据各所述样本语句的语句特征及所述样本语句对应的所述分类标签，训练所述文本分类模型；其中，所述文本分类模型用于识别目标语句的风险程度。

技术领域

本说明书涉及文本识别技术领域，尤其涉及一种文本的风险识别方法及装置。

背景技术

随着互联网业务和用户生成内容类网络平台的飞速发展，网络在给信息交流带来快捷方便的同时，也让一些垃圾信息(如谣言、违禁广告、欺诈等)“插上了翅膀”，即垃圾信息日益激增。尤其是在很多内容类场景中，每天都会产生大量的UGC(User GeneratedContent，用户原创内容)内容，其中的风险形势非常严峻。

现有技术中，采用ML算法进行文本分类，即采用自然切词的方式将整个句子切成term(单词)，然后用tf-idf的方法筛选出特征term，然后将句子用one-hot的方式组织成特征向量，再用GBDT/SVM等算法通过有监督方式训练模型。这种方法在进行文本的风险内容识别时，至少存在以下几个问题：

1、标注样本有偏。由于线上的标注集合并不是专为机器学习任务建设的，而是人工审理结果集，因此这部分数据分布偏向于高风险内容，里面的term分布并非是自然分布的。

2、标注错误较多。由于内容安全场景及风险类型的复杂性，导致标注准确率一直不高，并且标准也不够稳定，因此用来做机器学习的标注样本中噪声较多。

3、自然切词的局限性。自然切词的方式对于实际内容风险防控中因用户对抗产生的风险变种较乏识别力，例如：当发现“支付”被定性为敏感词之后，用户可能用“只付”来代替，这对传统自然切词法是很大的挑战。

发明内容

本说明书一个或多个实施例的目的是提供一种文本的风险识别方法及装置，用以提高文本风险识别的准确率及召回率。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

一方面，本说明书一个或多个实施例提供一种文本的风险识别方法，包括：

获取用于训练文本分类模型的多个样本语句；其中，各所述样本语句分别对应有各自的分类标签，所述分类标签用于表示所述样本语句是否为风险语句；

对所述样本语句进行切分，得到多个样本切片，所述样本切片包括单词及非词；

确定各所述样本切片的粒度特征，根据各所述样本切片的粒度特征确定各所述样本语句的语句特征；

根据各所述样本语句的语句特征及所述样本语句对应的所述分类标签，训练所述文本分类模型；其中，所述文本分类模型用于识别目标语句的风险程度。

在一个实施例中，所述粒度特征包括以下至少一项：

各所述样本切片在所述样本语句中的风险语句中的第一风险概率；

各所述样本切片在所述样本语句中的第二风险概率；

各所述样本切片在所述样本语句中的非风险语句中的第三风险概率；

各所述样本切片在所述样本语句中的数量；

各所述样本切片在所述风险语句中的数量；

各所述样本切片在所述非风险语句中的数量；