[发明专利]一种对话信息的处理方法、系统、电子设备及存储介质

说明书

本申请公开了一种对话信息的处理方法，所述方法包括：获取多轮对话产生的对话语料，并对所述对话语料进行意图标注和实体标注得到训练数据；搭建句子特征提取模块；利用多种预训练语言模型搭建堆叠集成学习模块框架，并将所述句子特征提取模块与所述堆叠集成学习模块框架连接，得到多意图实体联合抽取模型；将所述训练数据输入所述多意图实体联合抽取模型进行训练；若接收到待回答对话信息，则利用训练后的多意图实体联合抽取模型提取所述待回答对话信息的语意理解结果，能够提高语意理解的识别准确性。本申请还公开了一种对话信息的处理系统、一种存储介质及一种电子设备，具有以上有益效果。

技术领域

本申请涉及自然语言处理技术领域，特别涉及一种对话信息的处理方法、系统、电子设备及存储介质。

背景技术

自然语言处理是人工智能的子领域，是指机器能够理解和解释人类语言的能力，应用场景非常广泛，例如情感分析，自动文摘，对话系统等。对话系统按照功能主要包括任务型和闲聊型两类，由语音识别(ASR),语义理解(NLU),对话管理(DM),自然语言生成(NLG)和语音合成(TIS)等五个技术模块组成。

对话系统的技术难点主要在于语义理解(NLU)和对话管理(DM)，而语义理解(NLU)模块是对话管理(DM)正常执行的前提和保障，其目标是将口语化语言转化为结构化语义表示，主要包括意图分类和实体识别两个任务。相关技术中，通常使用联合模型来提取意图和实体，但是在实际对话场景中，用户可能通过多个句子来表达一个或多个意图，而目前大多对话系统在语义理解过程中将对话文本分割成单个句子进行分析，从而造成了对话意图理解的不准确。

因此，如何提高语意理解的识别准确性是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种对话信息的处理方法、系统、一种电子设备及一种存储介质，能够提高语意理解的识别准确性。

为解决上述技术问题，本申请提供一种对话信息的处理方法，该对话信息的处理方法包括：

获取多轮对话产生的对话语料，并对所述对话语料进行意图标注和实体标注得到训练数据；

搭建句子特征提取模块；其中，所述句子特征提取模块用于提取所述对话语料的多轮对话语料特征向量；所述多轮对话语料特征向量包括词汇特征和带有对话顺序的句子间关联特征；

利用多种预训练语言模型搭建堆叠集成学习模块框架，并将所述句子特征提取模块与所述堆叠集成学习模块框架连接，得到多意图实体联合抽取模型；

将所述训练数据输入所述多意图实体联合抽取模型进行训练；

若接收到待回答对话信息，则利用训练后的多意图实体联合抽取模型提取所述待回答对话信息的语意理解结果。

可选的，所述搭建句子特征提取模块，包括：

搭建包括目标预训练语言模型、自注意力网络、transformer encoder网络层和LSTM网络层的句子特征提取模块；

相应的，所述句子特征提取模块用于提取所述对话语料的多轮对话语料特征向量的过程包括：

利用所述目标预训练语言模型提取每一所述对话句子的词汇特征；

将所述词汇特征输入所述自注意力网络得到每一所述对话句子的上下文词汇特征；

将所有所述对话句子的上下文词汇特征输入至所述transformer encoder网络层，得到句子间关联特征；

将所述句子间关联特征输入至所述LSTM网络层，得到所述带有对话顺序的句子间关联特征；

对所述词汇特征和所述带有对话顺序的句子间关联特征进行融合，得到所述多轮对话语料特征向量。