[发明专利]基于主动学习的弱监督文本分类方法及装置

摘要

本申请公开一种基于主动学习的弱监督文本分类方法及装置，首先从未标注的样本集中抽取作为样本簇的簇心的第一样本，基于该第一样本构成初始训练集，并使用初始训练集训练基准模型，得到初始的分类模型，采用第一样本构成初始训练集，不仅降低训练样本数量，而且能够保证初始阶段分类模型的准确性；然后重复利用分类模型获取样本集中剩余样本的初定类别及置信度，从而无需人工标注；再根据置信度从剩余样本中抽取第二样本，并对第二样本进行数据增强处理以更新训练集，从而提高模型的泛化能力和鲁棒性；最后使用更新得到的目标训练集对分类模型进行训练，直到其满足预设条件，从而实现分类模型的多轮主动训练。

主权项

1.一种基于主动学习的弱监督文本分类方法，其特征在于，所述方法包括：从样本集中抽取作为样本簇的簇心的第一样本；所述样本集包含若干未标注样本；基于第一样本构成初始训练集，并使用初始训练集对基准模型进行训练，得到分类模型；重复利用所述分类模型获取样本集中剩余样本的初定类别及所述初定类别的置信度，根据所述置信度从剩余样本中抽取第二样本；对每次抽取的第二样本进行数据增强处理以更新训练集；使用每次更新得到的目标训练集对所述分类模型进行训练，以实现对所述分类模型的多轮循环主动训练，直至所述分类模型满足预设条件；利用满足预设条件的分类模型对待分类文本进行分类。