[发明专利]不均衡数据集的文本分类方法、文本分类器及存储介质

权利要求书

1.一种不均衡数据集的文本分类方法，其特征在于，所述不均衡数据集的文本分类方法包括以下步骤：

获取用于训练分类模型的数据集，其中，所述数据集包括多个已标注的文本数据；

根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本，并计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率；

对文本数据进行预处理，得到对应的样本点以映射成向量空间，其中，所述预处理包括语料处理和特征向量处理；

在所述向量空间中，基于预设插值策略、所述数据不均衡倍率以及各个样本点，得到插值样本后，更新所述数据集，其中，每一样本点根据对应的文本数据确定为多数类样本点或少数类样本点；

以更新的所述数据集为训练样本集，训练分类模型；

获取待测文本数据，并将所述待测文本数据导入至训练完成的分类模型中进行分类，以得出所述待测文本数据属于何种类别，作为分类结果；

所述在所述向量空间中，基于预设插值策略、所述数据不均衡倍率以及各个样本点，得到插值样本后，更新所述数据集包括：

在所述向量空间中，计算任意两个样本点之间的近邻样本点及其权重值，其中，所述两个样本点至少包括一个少数类样本点，所述权重值为包括距离权重和类型权重的组合权重值，所述距离权重和所述类型权重由每一个少数类样本点及其近邻样本点之间的距离关系确定；

基于所述数据不均衡倍率和所述权重值，在近邻样本点和对应的少数类样本点之间进行插值，得到插值样本；

基于所述插值样本，更新所述数据集。

2.如权利要求1所述的不均衡数据集的文本分类方法，其特征在于，所述根据文本数据标注的类别信息，确定每一文本数据为多数类样本或少数类样本，并计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率包括：

根据文本数据标注的类别信息，将所述文本数据划分为多数类样本和少数类样本，并打上标签；

分别统计标签为多数类样本的文本数据的数量，以及标签为少数类样本的文本数据的数量；

基于统计的数量，计算多数类样本数量和少数类样本数量之间的比值，得到数据不均衡倍率。

3.如权利要求1所述的不均衡数据集的文本分类方法，其特征在于，所述对文本数据进行预处理，得到对应的样本点以映射成向量空间，其中，所述预处理包括语料处理和特征向量处理包括：

对文本数据进行语料处理，得到若干词条，其中，所述语料处理包括格式统一、分词和去除无关字符；

采用Word2Vec对若干词条进行特征提取和平均值计算，得到的句向量作为文本数据的样本点；或

采用TFIDF对若干词条进行特征权重计算，得到特征值，并采用卡方检验对所述特征值进行选择后，将选择的特征值作为文本数据的样本点；

将各文本数据对应的样本点映射成向量空间。

4.如权利要求1所述的不均衡数据集的文本分类方法，其特征在于，所述在所述向量空间中，计算任意两个样本点之间的近邻样本点及其权重值包括：

以每一个少数类样本点为核心点，采用KNN算法，得到该核心点与其他样本点之间的K个近邻样本点；

基于K个近邻样本点与核心点之间的距离关系，确定距离权重和类型权重；

基于所述距离权重和类型权重，得到近邻样本的组合权重值。

5.如权利要求4所述的不均衡数据集的文本分类方法，其特征在于，所述基于所述数据不均衡倍率和所述权重值，对近邻样本点进行插值处理，得到插值样本包括：

基于所述数据不均衡倍率N和每个近邻样本的组合权重值W_ij(near)，确定插值样本的数量N_j，使用如下公式：

当确定了插值样本的数量后，根据预设插值公式，确定插值点的范围以在近邻样本点和对应的少数类样本点之间进行插值，得到插值样本。