[发明专利]一种小样本意图识别方法、装置、设备及存储介质

权利要求书

1.一种小样本意图识别方法，其特征在于按下列步骤进行：

a、获取意图识别数据集，对数据集进行处理，构建小样本意图识别数据集，其中构建小样本意图识别数据集是将整个数据集划分为训练集、辅助训练集和测试集；

b、提取句子的语义信息，在每个数据集上利用掩码语言模型任务，继续预训练，得到用于编码的BERT模型；之后在句子的开始位置添加特殊标记[CLS]，结束位置添加特殊标记[SEP]，使用BERT语言模型进行编码，最终取[CLS]位置处的输出向量作为整个句子的语义表示，将句子编码为高维特征向量；

c、利用辅助类中样本之间的多样性特征，选取一些辅助类中的样例对，同一组样例对属于同一个意图，样例对的内部差异性作为样本之间的多样性特征，在高维空间中生成样本的多样性特征；

d、将步骤c生成的多样性特征与原句子向量进行融合，获取句子的增强特征向量，对于每一个生成的多样性特征，与原句子向量进行残差连接，随后进行层次标准化，得到新特征向量，将目标句子对应的多个新特征向量取平均后，与原句子向量拼接，输入一个线性层，得到最终的句子增强特征向量，将属于同一意图的所有增强特征向量的平均值作为该意图的原型向量表示；

e、计算查询步骤d中的句子的增强特征向量与目标类别的原型向量之间的相似度，实现对查询句子的分类。

2.根据权利要求1所述的小样本意图识别方法，其特征在于，步骤a中训练集、辅助训练集和测试集中的句子分别属于不同的意图；在训练和测试时会构建多组不同的元任务，每个元任务包含支持集、查询集和辅助集；辅助集由多组样例对组成，一组样例对由来自同一意图的两个样例组成。

3.一种小样本意图识别装置，其特征在于该装置是由小样本数据集构建模块、语义编码器模块、多样性特征生成模块、特征融合模块和相似性分类模块组成，其中：

小样本数据集构建模块：获取意图识别数据集，对数据集进行处理，构建小样本意图识别数据集，具体包括数据集切分单元，用于将整个数据集划分为训练集、辅助训练集和测试集；元任务构建单元，用于在训练和测试时会构建多组不同的元任务；

语义编码器模块：提取句子的语义信息，将句子编码为高维特征向量，具体包括继续预训练单元，用于在训练集上利用掩码语言模型任务，继续预训练，得到用于编码的BERT模型；语义编码单元，用于在句子的开始位置添加特殊标记[CLS]，结束位置添加特殊标记[SEP]，使用继续训练后的BERT语言模型进行编码，最终取[CLS]位置处的输出向量作为整个句子的语义表示；

多样性特征生成模块：利用辅助类中样本之间的多样性特征，在高维空间中生成样本的多样性特征，具体包括多样性特征生成单元，用于利用辅助类中样本之间的多样性特征，生成目标句子的多样性特征；

特征融合模块：将生成的多样性特征与原句子向量进行融合，获取句子的增强特征向量，进一步得到目标意图的原型向量表示，具体包括特征融合单元，用于对每一个生成的多样性特征，与原句子向量进行残差连接，随后进行层次标准化，得到新特征向量，将目标句子对应的多个新特征向量取平均后，与原句子向量拼接，输入一个线性层，得到最终的句子增强特征向量；原型向量生成单元，用于将每个意图对应的所有句子增强特征向量进行平均，得到的平均向量作为该意图的原型向量表示；

相似性分类模块：计算查询句子的增强特征向量与目标类别的原型向量之间的相似度，实现对查询句子的分类。

4.一种电子设备，其特征在于，该设备包括：至少一个处理器；至少一张GPU计算卡；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行或所述至少一个GPU计算卡执行，以使所述至少一个处理器能或所述至少一个GPU计算卡能够执行权利要求1-2中所述的方法。

5.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-2中所述的方法。