[发明专利]不均衡数据集的文本分类方法、文本分类器及存储介质

摘要

本发明公开了一种不均衡数据集的文本分类方法、文本分类器及存储介质，所述方法包括：获取用于训练分类模型的数据集；根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本；计算多数类样本数量和少数类样本数量之间的比值，得到不均衡倍率；对文本数据进行预处理，得到对应的样本点以映射成向量空间；基于预设插值策略、不均衡倍率以及各个样本点，得到插值样本后，更新数据集；以更新的数据集为训练样本集，训练分类模型；获取待测文本数据，并将待测文本数据导入至训练完成的分类模型中进行分类，以得出待测文本数据属于何种类别，作为分类结果。本发明不仅能够扩大少数类样本及其边界区域，还有效提高模型的分类效果。

主权项

1.一种不均衡数据集的文本分类方法，其特征在于，所述不均衡数据集的文本分类方法包括以下步骤：获取用于训练分类模型的数据集，其中，所述数据集包括多个已标注的文本数据；根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本，并计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率；对文本数据进行预处理，得到对应的样本点以映射成向量空间，其中，所述预处理包括语料处理和特征向量处理；在所述向量空间中，基于预设插值策略、所述数据不均衡倍率以及各个样本点，得到插值样本后，更新所述数据集；以更新的所述数据集为训练样本集，训练分类模型；获取待测文本数据，并将所述待测文本数据导入至训练完成的分类模型中进行分类，以得出所述待测文本数据属于何种类别，作为分类结果。