[发明专利]不均衡数据集的文本分类方法、文本分类器及存储介质

说明书

本发明公开了一种不均衡数据集的文本分类方法、文本分类器及存储介质，所述方法包括：获取用于训练分类模型的数据集；根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本；计算多数类样本数量和少数类样本数量之间的比值，得到不均衡倍率；对文本数据进行预处理，得到对应的样本点以映射成向量空间；基于预设插值策略、不均衡倍率以及各个样本点，得到插值样本后，更新数据集；以更新的数据集为训练样本集，训练分类模型；获取待测文本数据，并将待测文本数据导入至训练完成的分类模型中进行分类，以得出待测文本数据属于何种类别，作为分类结果。本发明不仅能够扩大少数类样本及其边界区域，还有效提高模型的分类效果。

技术领域

本发明涉及文本信息技术领域，尤其涉及一种不均衡数据集的文本分类方法、文本分类器及存储介质。

背景技术

随着科学技术的进步以及互联网的普及应用，面对海量文本数据，诸如用户发表或反馈的评论等急剧增加，自动文本分类技术应运而生。

目前，机器学习方法逐渐被应用到文本分类技术中，传统的机器学习方法都是基于数据均衡情况下实现的，然而在实际应用中，由于大部分数据分布不均衡，导致文本分类方法效果较差。在面对数据不均衡问题的处理有两种方法，一是算法层面，二是取样层面，从而达到类均衡，进而提高文本分类的精确度和效率。

发明内容

本发明的主要目的在于提供一种不均衡数据集的文本分类方法、文本分类器及存储介质，旨在解决传统分类方法面对不均衡数据集的局限性，从而提高文本分类的精确度和效率的技术问题。

为实现上述目的，本发明提供的一种不均衡数据集的文本分类方法，所述不均衡数据集的文本分类方法包括以下步骤：

获取用于训练分类模型的数据集，其中，所述数据集包括多个已标注的文本数据；

根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本，并计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率；

对文本数据进行预处理，得到对应的样本点以映射成向量空间，其中，所述预处理包括语料处理和特征向量处理；

在所述向量空间中，基于预设插值策略、所述数据不均衡倍率以及各个样本点，得到插值样本后，更新所述数据集；

以更新的所述数据集为训练样本集，训练分类模型；

获取待测文本数据，并将所述待测文本数据导入至训练完成的分类模型中进行分类，以得出所述待测文本数据属于何种类别，作为分类结果。

优选地，所述根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本，并计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率包括：

根据文本数据标注的类别信息，将所述文本数据划分为多数类样本和少数类样本，并打上标签；

分别统计标签为多数类样本的文本数据的数量，以及标签为少数类样本的文本数据的数量；

基于统计的数量，计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率。

优选地，所述对文本数据进行预处理，得到对应的样本点以映射成向量空间，其中，所述预处理包括语料处理和特征向量处理包括：

对文本数据进行语料处理，得到若干词条，其中，所述语料处理包括格式统一、分词和去除无关字符；

采用Word2Vec对若干词条进行特征提取和平均值计算，得到的句向量作为文本数据的样本点；或

采用TFIDF对若干词条进行特征权重计算，得到特征值，并采用卡方检验对所述特征值进行选择后，将选择的特征值作为文本数据的样本点；

将各文本数据对应的样本点映射成向量空间。