[发明专利]一种基于采样频率优化的主动学习短文本分类方法和系统

说明书

本发明公开了基于采样频率优化的主动学习短文本分类方法和系统，拓宽主动学习优化方向，提供业界广泛使用的简单有效的优化框架。其技术方案为：文本分类器学习已标注数据；基于文本分类器的学习结果对未标注数据进行采样评估并选出最有价值数据；对选出数据进行手动标注并加入到已标注数据中，重复上述步骤直到迭代次数达到上限或准确度达标。在采样评估过程中，对已标注数据，根据其所属类别进行分类，统计每种类别已标注的数据量，得到各自的采样频率数据；对未标注数据，对未标注数据先进行评估得到初始评估分值及其预测结果类别，然后根据预测结果类别获取对应的采样频率数据，基于初始评估分值和对应类别的采样频率数据得到最终评估分值。

技术领域

本发明涉及使用主动学习处理短文本分类的技术，具体涉及一种基于采样频率优化的主动学习短文本分类方法和系统。

背景技术

随着电子商务和线上交流的盛行，在许多应用领域，如即时消息、在线聊天日志、公告板系统标题、Internet新闻评论、Twitter等，短文本内容充斥着人们的日常生活。面对由此衍生出的主题推荐、电子商务聊天机器人等许多需求，短文本分类就变得十分重要。但是，由于短文本表述的不规范性，标注需要的内容会耗费大量的人力，并且效果也比较有限。

当前业界会使用主动学习来处理短文本分类问题，但直接将主流的主动学习方法应用于此的时候我们发现在短文本分类上的表现不佳，并且随着数据集类别数的增加，现有的采样方法的表现也会随之下降。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于采样频率优化的主动学习短文本分类方法和系统，拓宽了主动学习的优化方向，提供了工业界可以广泛使用的简单而有效的优化框架。

本发明的技术方案为：本发明揭示了一种基于采样频率优化的主动学习短文本分类方法，方法包括：

步骤1：文本分类器学习已标注数据；

步骤2：基于文本分类器的学习结果对未标注数据进行采样评估并选择出最有价值的数据；

步骤3：对选出的数据进行手动标注；

步骤4：将手动标注后的数据加入到已标注数据中，重复上述步骤直到迭代次数达到上限或准确度达标；

其中步骤2进一步包括：

对于已标注数据，根据已标注数据的所属类别进行分类，统计每种类别已经标注的数据量，得到每种类别的采样频率数据；

对于未标注数据，文本分类器根据未标注数据先进行评估得到初始评估分值，以及得到未标注数据的预测结果类别，然后文本分类器根据预测结果类别获取对应的采样频率数据，基于初始评估分值和对应类别的采样频率数据得到最终评估分值，其对应的就是最有价值的数据。

根据本发明的基于采样频率优化的主动学习短文本分类方法的一实施例，步骤2中的最终评估分值的计算如下：

其中V′(x)表示最终评估分值，V(x)表示初始评估分值，y表示类别，f(类别y)表示类别y的采样频率数据。

根据本发明的基于采样频率优化的主动学习短文本分类方法的一实施例，步骤2中的采样包括随机采样、不确定度采样、最小置信度采样和k中心点贪婪采样。

根据本发明的基于采样频率优化的主动学习短文本分类方法的一实施例，文本分类器中的模型包括：FastText模型、BERT模型、卷积神经网络模型以及使用注意力机制的长短期记忆模型。