[发明专利]一种基于少样本语料的问句理解模型训练方法和系统

说明书

本发明公开了一种基于少样本语料的问句理解模型训练方法和系统，其中方法包括如下步骤：获取少于设定阈值的样本语料数据，并对样本语料数据进行标注；对少于设定阈值的样本语料数据进行数据增强；将数据增强后的语料转化为词向量，并生成文本向量；构建基于互增强的意图识别与实体抽取联合模型；将词向量输入基于互增强的意图识别与实体抽取联合模型中进行训练，得到意图识别与实体抽取联合模型。本发明不需要大量的人力和时间来对规则和模板进行编写，也不需要耗费大量时间对训练数据进行标注。在训练数据较少的情况下，仍然保证模型的预测效果，同时具有较好的泛化能力。

技术领域

本发明涉及语音交互技术领域，尤其涉及一种基于少样本语料的问句理解模型训练方法和系统。

背景技术

随着信息技术和自然语言处理技术的不断发展，自动问答系统逐渐成为人们的研究重点。意图识别和实体抽取作为自动问答系统中的两项重要前端任务，一直是各界学者和相关机构着重研究的对象。当计算机获取了用户输入的文本之后，首先需要对用户意图进行识别，并对文本中的重要实体进行提取，在完成以上两项基础任务之后，后续任务才能顺利开展，所以意图识别和实体抽取的准确性直接影响到整个问答系统的服务质量。

较早的意图识别模型主要采用基于统计方法的分类模型，后来随着深度学习技术的发展，一些神经网络逐渐被运用到了意图识别模型的训练当中，如卷积神经网络和循环神经网络等。实体抽取任务早期主要采用基于规则和词典的方法来抽取文本中的实体，一些基于统计学的方法也常用于实体抽取任务，如条件随机场(CRF)、最大熵马尔科夫模型(MEMM)等，近几年比较主流的实体抽取方法采用的是深度学习和机器学习结合的方案：长短期记忆网络(LSTM)和条件随机场(CRF)的组合是目前比较常用的方法。虽然深度学习模型能够有效提升任务的准确性，然而它普遍存在的一个问题就是需要大量的数据，一旦用于训练模型的数据量无法达到一定的规模，模型的效果将会有明显下降。

在自动问答系统当中，通常采用先识别问句意图，再从文本中抽取实体的方案，使得意图识别和实体抽取成为两个完全独立的子模块，无法对它们建立联系，从而使得信息利用不充分。即使有采用联合模型的方案，也仅仅是采用同样的输入表示，在模型训练过程中仍然无法实现信息的交互。

在现有技术中，CN110473521A提供了一种基于任务模型的训练方法、装置和设备，该方法中，意图识别和实体抽取是两个独立的模块，先识别用户意图，再将文本中的实体抽取出来，这种流水线方式会造成错误传递的结果，一旦意图识别错误，后续任务就会受到不良影响。

CN107315737A提供了一种语义逻辑处理方法及系统。在该语义逻辑处理方法中，采用的是先抽取实体，再进行意图判断的方式，且使用的是基于模板和规则的方法进行提取。这种方案不仅无法让实体抽取和意图识别两个子模块建立联系，同时还需要耗费大量人力来对规则和模板进行编写，且模型灵活性差，不易迁移到其他领域的类似任务当中。

综上所述，现有意图识别和实体抽取模型存在以下几点问题：

(1)基于模板和规则的意图识别和实体抽取模型需要耗费大量的人力和时间来对规则进行编写，而且能够覆盖到的领域有限，模型的灵活性不高。

(2)目前采用的先识别意图再抽取实体的流水线方式，通常使得预测意图信息和提取实体信息成为两个完全独立的子模块，容易造成错误传递问题，且无法对它们建立联系。

(3)一些使用了意图识别和实体抽取的联合模型，主要采用的是共享输入层的方法让两个子模块联合训练，实际上并没有让模型之间产生信息的交互，使得信息不能被充分利用。

(4)很多模型都需要基于大量的训练语料作为支撑，一旦数据规模不够大，模型的效果也会有所下降，然而大量的数据标注会消耗很多人力和时间成本。

发明内容

本发明提供了一种基于少样本语料的问句理解模型训练方法和系统，以解决上述现有技术中存在的问题。