[发明专利]基于主动学习的语料挖掘方法、装置及电子设备

说明书

本申请实施例提供了基于主动学习的语料挖掘方法、装置及电子设备，涉及人工智能领域。该方法包括：获取未标注语料；利用至少两个预先训练好的语料分类模型对未标注语料进行分类，得到至少两个语料分类模型输出的、针对未标注语料进行分类的第一分类类型和分类分数；选取第一分类类型不一致、且分类分数符合预设条件的未标注语料作为待标注语料，对待标注语料进行二次分类处理，得到待标注语料的第二分类类型。本技术方案能够有利于扩宽语料挖掘的覆盖面，提高语料挖掘的泛化性。

技术领域

本申请涉及人工智能领域，具体而言，本申请涉及一种基于主动学习的语料挖掘方法、装置及电子设备，还涉及一种计算机可读存储介质。

背景技术

随着人们对生活质量提出更高的要求，众多的智能助手逐渐出现在我们的生活中，如腾讯的云小微智能助手等。用户可以通过语音输入、文本输入等方式向智能助手询问相关信息等。准确理解用户需求是智能助手提供服务的基本前提，为了提高智能助手的智能化水平，有时候需要对智能助手所涉及的技能进行语料挖掘，以满足不同场景不同用户对智能助手发出的不同需求。

目前，语料挖掘方法主要有随机挑选、根据关键词进行语料挖掘和基于边缘概率的主动学习算法的语料挖掘等。随机挑选是指对未标注语料集进行随机采样，然后交由标注人员标注。根据关键词进行语料挖掘需要根据技能的设计几个关键词，然后从未标注语料集中挖掘出包含这些关键词的语料，然后再交由标注人员标注。基于边缘概率的主动学习算法需要初始化若干条启动语料，基于这些启动语料训练一个分类模型，然后用该分类模型对所有未标注语料进行预测得到未标注语料的得分，最后选取得分介于阈值边缘的语料交由标注人员进行标注。

然而，上述语料挖掘方法存在着如下问题：随机挑选的语料挖掘方法耗时耗力，效率极低；根据关键词进行语料挖掘虽然在一定程度上提高了碗蕨效率，但是严重依赖于关键词的挑选，很容易导致语料分布出现倾斜现象，或者因为遗漏某些冷门的语料挖掘不到；而对于基于边缘概率的主动学习算法的语料挖掘方法，又很容易挖掘出一些跟启动语料相似的语料，难以拓展语料挖掘所涉及的覆盖面。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是语料挖掘效率低、难以扩展语料挖掘结果所涉及的覆盖面的技术缺陷。

第一方面，提供了一种基于主动学习的语料挖掘方法，包括：

获取未标注语料；

利用至少两个预先训练好的语料分类模型对未标注语料进行分类，得到至少两个语料分类模型输出的、针对未标注语料进行分类的第一分类类型和分类分数；

选取第一分类类型不一致、且分类分数符合预设条件的未标注语料作为待标注语料，对待标注语料进行二次分类处理，得到待标注语料的第二分类类型。

在一种可能的实现方式中，基于主动学习的语料挖掘方法还包括：

基于预先配置的、作为训练样本的冷启动语料对至少两个分类器进行训练，得到至少两个语料分类模型。

在一种可能的实现方式中，基于预先配置的作为训练样本的冷启动语料对至少两个分类器进行训练，得到至少两个语料分类模型的步骤包括：

获取预先配置的、作为训练样本的冷启动语料；

抽取冷启动语料的N-gram文本特征，并对N-gram文本特征进行筛选生成冷启动语料的N-gram字典；其中，N为正整数，大于等于1；

记录N-gram文本特征在N-gram字典中对应的位置作为冷启动语料的特征表达；

基于特征表达采用可扩展机器学习库分别对至少两个分类器进行训练，得到至少两个语料分类模型。

在一种可能的实现方式中，对N-gram文本特征进行筛选生成冷启动语料的N-gram字典的步骤包括：