[发明专利]短信样本的获取方法和装置

权利要求书

1.一种短信样本的获取方法，包括：

每间隔预设时长对当前采样时刻的短信进行采样，得到多条采样短信；

基于文本内容将所述多条采样短信进行去重，得到去重采样短信，包括：获取当前采样时刻的多条采样短信，其中，所述多条采样短信包括多个短信类别，每个短信类别分别包括多条采样短信；针对每个短信类别的多条采样短信，获取所述多条采样短信的短信模板；基于所述短信模板对该短信类别的多条采样短信进行第一去重，得到第一去重采样短信；对所述第一去重采样短信进行文本预处理，得到所述第一去重采样短信的文本内容的文本相似度；基于所述文本相似度对所述去重后的采样短信进行第二去重，得到第二去重采样短信，并将所述第二去重采样短信确定为该短信类别的去重采样短信；针对全部短信类别的去重采样短信，获取所述全部短信类别的去重采样短信的短信模板和文本内容的文本相似度，并基于所述短信模板和所述文本相似度对所述全部短信类别的去重采样短信进行第三去重，得到第三去重采样短信，并将所述第三去重采样短信确定为去重采样短信；

基于主动学习算法对所述去重采样短信进行筛选，得到筛选后的采样短信，并将所述筛选后的采样短信确定为待标注的短信样本。

2.根据权利要求1所述的方法，其中，所述基于文本内容将所述多条采样短信进行去重，得到去重采样短信，还包括以下步骤：

获取数据库中待标注的短信样本；

将所述数据库中待标注的短信样本与所述去重采样短信进行比较，基于文本内容将所述去重采样短信进行第四去重，得到第四去重采样短信，并将所述第四去重采样短信确定为去重采样短信。

3.根据权利要求1-2任意一项所述的方法，其中，所述方法还包括：

响应于获取到待标注的短信样本，对所述待标注的短信样本进行分类标注，得到带标注结果的短信样本；

将所述带标注结果的短信样本进行句子切分，得到所述带标注结果的短信样本对应的句子序列；

基于所述句子序列和所述短信样本的标注结果，对Ernie Tiny-CNN构成的神经网络模型进行训练，得到用于对短信进行分类和审核的分类审核模型。

4.根据权利要求3所述的方法，其中，所述方法还包括：

获取所述分类审核模型输出的分类概率和审核概率；

基于所述待标注的短信样本对应的真实分类概率、分类审核模型输出的分类概率、真实审核概率和分类审核模型输出的审核概率，确定所述分类审核模型的损失函数；

基于所述损失函数，对所述分类审核模型进行参数调优，得到调优后的分类审核模型。

5.根据权利要求3所述的方法，其中，所述方法还包括：

响应于获取到待处理短信，将所述待处理短信执行句子切分，得到所述待处理短信对应的句子序列；

将所述句子序列输入所述分类审核模型中的Ernie Tiny预训练模型，得到所述待处理短信的特征向量；

将所述待处理短信的特征向量输入所述分类审核模型中的分类模型，得到所述待处理短信的分类结果；

将所述待处理短信的特征向量输入所述分类审核模型中的审核模型，得到所述待处理短信的审核结果；

基于所述待处理短信的分类结果和审核结果，确定是否发送所述待处理短信。