[发明专利]短信样本的获取方法和装置

说明书

本申请涉及自然语言处理领域，公开了短信样本的获取方法和装置：通过每间隔预设时长对当前采样时刻的短信进行采样，得到多条采样短信，然后基于文本内容将多条采样短信进行去重，得到去重采样短信，最后基于主动学习算法对去重采样短信进行筛选，得到筛选后的采样短信，并将筛选后的采样短信确定为待标注的短信样本。实现了对采样短信的去重筛选，得到了难以进行分类的待标注的短信样本，使得待标注的短信样本的数量减少且每个短信样本之间的差异增大，提高了待标注的短信样本的可用性和效果性，从而能够提高基于该短信样本得到的模型的分类和审核效果，提高了基于该短信样本得到的模型的准确率。

技术领域

本申请涉及计算机技术领域，具体自然语言处理领域，尤其涉及一种短信样本的获取方法和装置。

背景技术

随着科技不断进步，互联网不断发展，人工智能技术已逐渐应用于工业、金融等各行各业，用于解决人们在生产和生活中的各种问题。监督学习作为机器学习中最为重要的一部分，基于大量已经标注的样本对生产中的问题建模，往往可以取得比无监督方法更好的效果，然而监督学习往往需要高昂的标注成本。

在生产环境中，往往存在大量未标注的样本，由于标注成本等原因，已经标注的样本往往较少。对大量未标注的样本进行标注的人工成本较高，且大量未标注的样本中存在较多的无效样本，样本的质量较差等。

发明内容

本申请实施例提供了一种短信样本的获取方法、装置、电子设备以及存储介质。

第一方面，本申请实施例提供了一种短信样本的获取方法，该方法包括：每间隔预设时长对当前采样时刻的短信进行采样，得到多条采样短信；基于文本内容将多条采样短信进行去重，得到去重采样短信；基于主动学习算法对去重采样短信进行筛选，得到筛选后的采样短信，并将筛选后的采样短信确定为待标注的短信样本。

在一些实施例中，基于文本内容将多条采样短信进行去重，得到去重采样短信，基于以下步骤实现：获取当前采样时刻的多条采样短信，其中，多条采样短信包括多个短信类别，每个短信类别分别包括多条采样短信；针对每个短信类别的多条采样短信，获取多条采样短信的短信模板和文本内容的文本相似度，并基于短信模板和文本相似度对该短信类别的多条采样短信进行去重，得到该短信类别的去重采样短信。

在一些实施例中，针对每个短信类别的多条采样短信，获取多条采样短信的短信模板和文本内容的文本相似度，并基于短信模板和文本相似度对该短信类别的多条采样短信进行去重，得到该短信类别的去重采样短信，基于以下步骤实现：针对每个短信类别的多条采样短信，获取多条采样短信的短信模板；基于短信模板对该短信类别的多条采样短信进行第一去重，得到第一去重采样短信；对第一去重采样短信进行文本预处理，得到第一去重采样短信的文本内容的文本相似度；基于文本相似度对去重后的采样短信进行第二去重，得到第二去重采样短信，并将第二去重采样短信确定为该短信类别的去重采样短信。

在一些实施例中，基于文本内容将多条采样短信进行去重，得到去重采样短信，还包括以下步骤：针对全部短信类别的去重采样短信，获取全部短信类别的去重采样短信的短信模板和文本内容的文本相似度，并基于短信模板和文本相似度对全部短信类别的去重采样短信进行第三去重，得到第三去重采样短信，并将第三去重采样短信确定为去重采样短信。

在一些实施例中，基于文本内容将多条采样短信进行去重，得到去重采样短信，还包括以下步骤：获取数据库中待标注的短信样本；将数据库中待标注的短信样本与去重采样短信进行比较，基于文本内容将去重采样短信进行第四去重，得到第四去重采样短信，并将第四去重采样短信确定为去重采样短信。

在一些实施例中，该方法还包括：响应于获取到待标注的短信样本，对待标注的短信样本进行分类标注，得到带标注结果的短信样本；将带标注结果的短信样本进行句子切分，得到带标注结果的短信样本对应的句子序列；基于句子序列和短信样本的标注结果，对Ernie Tiny-CNN构成的神经网络模型进行训练，得到用于对短信进行分类和审核的分类审核模型。