[发明专利]基于无监督对话预训练的对话理解与答案配置方法及系统

说明书

本发明提供了基于无监督对话预训练的对话理解与答案配置方法，包括进行对话相关的对话信息预处理，构建具有对话内容、角色信息及轮次信息的对话输入样本，将对话输入的信息进行词嵌入；将带有对话文本单词信息、位置信息、角色信息以及轮次信息的词嵌入输出结果相加作为对话预训练语言模型encoder的输入；对模型encoder输出的编码向量进行基于BiLSTM‑CNN的池化处理获得对话表征向量；利用对话级别的句子掩码建模、单词整体掩码建模和基于回复生成的对话级别对比学习建模任意组合生成的预训练学习任务，对模型进行优化。本发明可有效解决多轮对话意图识别，且通过生成回复答案的方法能够提高答案的配置效率。

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及基于无监督对话预训练的对话理解与答案配置方法及系统。

背景技术

在电商领域，在线服务是完成交易的重要一环，用户通常会在购物前对商家进行咨询然后下单。但是咨询量过大导致无法及时回复用户信息，电商夜间无人值守时期用户咨询无人响应等问题，都会影响在线交易成功率。对话机器人可以提供24小时无间断的服务，而且可以应对大量的咨询，其种种优势已经成为了目前电商平台必备的基础组件之一。例如，中国最大的通用电商平台淘宝，在线服务机器人就已经被大量使用。

在线机器人在对话中，首先识别用户消息的意图，进而根据意图进行回复相应答案。目前业界采用的单句意图识别方法，难以适应多轮对话；而针对多轮对话的意图识别与答复方法，过于依赖规则配置，人工成本较高。对话是一个多轮过程，因此理解对话意图需要对整个对话语句进行全局理解。此外，目前业界基于对话意图进行答案的人工配置，对人力消耗较大，导致机器人配置服务成本过高。理解对话意图的基础上，可以基于整个对话的信息进行生成答案，从而完成答案自动配置，提高机器人回复效率，降低机器人服务成本。

发明内容

本发明旨在解决背景技术中存在的问题，提供一种可以有效解决多轮对话意图识别以及提高答案的配置效率的基于无监督对话预训练的对话理解与答案配置方法及系统。

本发明的实施例通过以下技术方案实现：基于无监督对话预训练的对话理解与答案配置方法，包括如下步骤：

进行对话相关的对话信息预处理，构建具有对话内容、角色信息及轮次信息的对话输入样本，将对话输入的信息进行词嵌入；

将带有对话文本单词信息、位置信息、角色信息以及轮次信息的词嵌入输出结果相加作为对话预训练语言模型encoder的输入；

对模型encoder输出的编码向量进行基于BiLSTM-CNN的池化处理，获得对话表征向量；

利用对话级别的句子掩码建模、单词整体掩码建模和基于回复生成的对话级别对比学习建模其中之一或其任意组合生成的预训练学习任务，对模型进行优化。

根据一种优选实施方式，所述进行对话相关的对话信息预处理包括：

利用sentencepiece构建分句模型；

基于unigram model算法对所述分句模型进行预训练；

利用训练完成后的分句模型对对话信息进行分句处理。

根据一种优选实施方式，所述将对话输入的信息进行词嵌入包括：

将对话信息输入嵌入层，所述嵌入层包括对话轮次嵌入层、角色信息嵌入层、位置嵌入层以及单词嵌入层；

经所述嵌入层分别对对话信息中句子的角色信息、句子的伦次信息、单词的信息和单词的位置信息进行词嵌入。

根据一种优选实施方式，所述对话预训练语言模型为采用adapter方法进行权重初始化后的Transformer模型，其中，采用adapter方法进行权重初始化具体包括：