[发明专利]一种基于采样频率优化的主动学习短文本分类方法和系统

权利要求书

1.一种基于采样频率优化的主动学习短文本分类方法，其特征在于，方法包括：

步骤1：文本分类器学习已标注数据；

步骤2：基于文本分类器的学习结果对未标注数据进行采样评估并选择出最有价值的数据；

步骤3：对选出的数据进行手动标注；

步骤4：将手动标注后的数据加入到已标注数据中，重复上述步骤直到迭代次数达到上限或准确度达标；

其中步骤2进一步包括：

对于已标注数据，根据已标注数据的所属类别进行分类，统计每种类别已经标注的数据量，得到每种类别的采样频率数据；

对于未标注数据，文本分类器根据未标注数据先进行评估得到初始评估分值，以及得到未标注数据的预测结果类别，然后文本分类器根据预测结果类别获取对应的采样频率数据，基于初始评估分值和对应类别的采样频率数据得到最终评估分值，其对应的就是最有价值的数据；

其中步骤2中的最终评估分值的计算如下：

其中V′(x)表示最终评估分值，V(x)表示初始评估分值，y表示类别，f(类别y)表示类别y的采样频率数据。

2.根据权利要求1所述的基于采样频率优化的主动学习短文本分类方法，其特征在于，步骤2中的采样包括随机采样、不确定度采样、最小置信度采样和k中心点贪婪采样。

3.根据权利要求1所述的基于采样频率优化的主动学习短文本分类方法，其特征在于，文本分类器中的模型包括：FastText模型、BERT模型、卷积神经网络模型以及使用注意力机制的长短期记忆模型。

4.一种基于采样频率优化的主动学习短文本分类系统，其特征在于，系统包括文本分类器、采样评估模块、手动标注模块，其中：

文本分类器，用于学习已标注数据；

采样评估模块，用于基于文本分类器的学习结果对未标注数据进行采样评估并选择出最有价值的数据；

手动标注模块，用于对选出的数据进行手动标注并将其加入到已标注数据中；

采样评估模块配置为进行如下的处理：

对于已标注数据，根据已标注数据的所属类别进行分类，统计每种类别已经标注的数据量，得到每种类别的采样频率数据；

对于未标注数据，文本分类器根据未标注数据先进行评估得到初始评估分值，以及得到未标注数据的预测结果类别，然后文本分类器根据预测结果类别获取对应的采样频率数据，基于初始评估分值和对应类别的采样频率数据得到最终评估分值，其对应的就是最有价值的数据；

其中采样评估模块中的最终评估分值的计算如下：

其中V′(x)表示最终评估分值，V(x)表示初始评估分值，y表示类别，f(类别y)表示类别y的采样频率数据。

5.根据权利要求4所述的基于采样频率优化的主动学习短文本分类系统，其特征在于，采样评估模块中的采样方式包括随机采样、不确定度采样、最小置信度采样和k中心点贪婪采样。

6.根据权利要求4所述的基于采样频率优化的主动学习短文本分类系统，其特征在于，文本分类器中的模型包括：FastText模型、BERT模型、卷积神经网络模型以及使用注意力机制的长短期记忆模型。