[发明专利]一种对话信息的处理方法、系统、电子设备及存储介质

权利要求书

1.一种对话信息的处理方法，其特征在于，包括：

获取多轮对话产生的对话语料，并对所述对话语料进行意图标注和实体标注得到训练数据；

搭建句子特征提取模块；其中，所述句子特征提取模块用于提取所述对话语料的多轮对话语料特征向量；所述多轮对话语料特征向量包括词汇特征和带有对话顺序的句子间关联特征；

利用多种预训练语言模型搭建堆叠集成学习模块框架，并将所述句子特征提取模块与所述堆叠集成学习模块框架连接，得到多意图实体联合抽取模型；

将所述训练数据输入所述多意图实体联合抽取模型进行训练；

若接收到待回答对话信息，则利用训练后的多意图实体联合抽取模型提取所述待回答对话信息的语意理解结果。

2.根据权利要求1所述对话信息的处理方法，其特征在于，所述搭建句子特征提取模块包括：

搭建包括目标预训练语言模型、自注意力网络、transformer encoder网络层和LSTM网络层的句子特征提取模块；

相应的，所述句子特征提取模块用于提取所述对话语料的多轮对话语料特征向量的过程包括：

利用所述目标预训练语言模型提取每一所述对话句子的词汇特征；

将所述词汇特征输入所述自注意力网络得到每一所述对话句子的上下文词汇特征；

将所有所述对话句子的上下文词汇特征输入至所述transformer encoder网络层，得到句子间关联特征；

将所述句子间关联特征输入至所述LSTM网络层，得到所述带有对话顺序的句子间关联特征；

对所述词汇特征和所述带有对话顺序的句子间关联特征进行融合，得到所述多轮对话语料特征向量。

3.根据权利要求2所述对话信息的处理方法，其特征在于，利用所述目标预训练语言模型提取每一所述对话句子的词汇特征，包括：

确定每一所述对话句子的分词处理结果；

将每一所述对话句子的分词处理结果输入至所述目标预训练语言模型，得到所述词汇特征。

4.根据权利要求1所述对话信息的处理方法，其特征在于，所述堆叠集成学习模块框架包括基础模型层和集成学习层；

其中，所述基础模型层包括多种预训练语言模型，所述基础模型层用于通过K折交叉验证的方式进行训练，得到意图识别模型集和实体抽取模型集；所述集成学习层用于根据所述意图识别模型集和所述实体抽取模型集进行元学习器的学习得到意图损失和实体损失；

相应的，还包括：

根据所述意图损失和所述实体损失对所述堆叠集成学习模块框架进行参数调整。

5.根据权利要求4所述对话信息的处理方法，其特征在于，所述通过K折交叉验证的方式进行训练，得到意图识别模型集和实体抽取模型集，包括：

通过K折交叉验证的方式使用所述多轮对话语料特征向量分别训练每一所述预训练语言模型，得到每一所述预训练语言模型输出的意图识别结果和实体抽取结果；

汇总所有所述意图识别结果得到所述意图识别模型集；

汇总所有所述实体抽取结果得到所述实体抽取模型集。

6.根据权利要求1所述对话信息的处理方法，其特征在于，对所述对话语料进行意图标注和实体标注得到训练数据，包括：

对所述对话语料种的每一对话句子进行分词处理；

对每一所述对话句子的分词处理结果进行意图标注和实体标注，得到包括意图标签和实体标签的已标注句子；

按照预设比例将所述已标注句子划分为所述训练数据和测试数据。

7.根据权利要求6所述对话信息的处理方法，其特征在于，在将所述训练数据输入所述多意图实体联合抽取模型进行训练之后，还包括：

利用所述测试数据对训练后的多意图实体联合抽取模型进行校验，得到模型评估结果。