[发明专利]一种基于少样本语料的问句理解模型训练方法和系统

权利要求书

1.一种基于少样本语料的问句理解模型训练方法，其特征在于包括如下步骤：

步骤1：获取少于设定阈值的样本语料数据，并对样本语料数据进行标注；对数据进行标注的方法包括：采用基于规则和词典的方法对数据进行全自动标注；

步骤2：对所述少于设定阈值的样本语料数据进行数据增强；

步骤3：将所述数据增强后的语料转化为词向量，并生成文本向量；

步骤4：构建基于互增强的意图识别与实体抽取联合模型；

步骤5：将所述词向量输入所述基于互增强的意图识别与实体抽取联合模型中进行训练，得到意图识别与实体抽取联合模型；

构建基于互增强的意图识别与实体抽取联合模型的方法包括：构建文本编码模块，意图识别模块，实体抽取模块，以及连接意图识别模块和实体抽取模块的信息交互机制；所述信息交互机制，将所述意图识别模块的顶层输出传回到所述实体抽取模块的双向神经网络输入层，同时将所述实体抽取模块的顶层输出传回到所述意图识别模块的卷积神经网络输入层，实现两个模块之间的信息交互和信息增强。

2.根据权利要求1所述的基于少样本语料的问句理解模型训练方法，其特征在于，将所述数据增强后的语料转化为词向量之前，还包括：对所述数据增强后的语料进行文本中心内容定位，根据中心内容截取一定长度的文本作为训练语料。

3.根据权利要求2所述的基于少样本语料的问句理解模型训练方法，其特征在于，将进行过内容截取后的训练语料转化为词向量的方法包括：根据所述训练语料随机生成一定长度的词向量；或者，利用深度学习模型训练得到词向量；或者，利用深度学习模型分别预训练词向量和字向量，再将预训练词向量和字向量结合得到词向量。

4.根据权利要求1所述的基于少样本语料的问句理解模型训练方法，其特征在于，所述文本编码模块，利用双向神经网络对所述文本向量进行编码；

所述意图识别模块，由卷积神经网络和最大池化层组成，通过卷积神经网络来提取所述文本向量的意图特征，最大池化层对上一层输出进行降维，从而连接一个全连接层作为顶层对齐输出标签；

所述实体抽取模块，利用双向神经网络来提取所述文本向量中的实体特征，采用的双向神经网络同上述文本编码模块，并连接一个全连接层作为顶层对齐输出标签。

5.根据权利要求1所述的基于少样本语料的问句理解模型训练方法，其特征在于，

在构建基于互增强的意图识别与实体抽取联合模型之后，还包括：损失函数的设定，以及迭代更新所述互增强的意图识别与实体抽取联合模型参数。

6.根据权利要求5所述的基于少样本语料的问句理解模型训练方法，其特征在于，

采用最大间隔损失函数对互增强的意图识别与实体抽取联合模型参数进行优化，并加入正则化公式来提高互增强的意图识别与实体抽取联合模型的泛化能力。

7.一种基于少样本语料的问句理解模型训练系统，其特征在于，包括：

数据标注单元，用于获取样本数据，并对数据进行标注；对数据进行标注的方法包括：采用基于规则和词典的方法对数据进行全自动标注；

数据增强单元，用于对标注的语料进行数据增强；

词向量转换单元，用于将数据增强后的语料转化为词向量，并形成文本向量；

模型构建单元，用于构建基于互增强的意图识别与实体抽取联合模型；

模型训练单元，用于将词向量输入所述基于互增强的意图识别与实体抽取联合模型中进行训练，得到意图识别与实体抽取联合模型；

构建基于互增强的意图识别与实体抽取联合模型的方法包括：构建文本编码模块，意图识别模块，实体抽取模块，以及连接意图识别模块和实体抽取模块的信息交互机制；所述信息交互机制，将所述意图识别模块的顶层输出传回到所述实体抽取模块的双向神经网络输入层，同时将所述实体抽取模块的顶层输出传回到所述意图识别模块的卷积神经网络输入层，实现两个模块之间的信息交互和信息增强。