[发明专利]一种开放域对话回复自动生成方法、系统及存储介质

说明书

本发明公开了一种开放域对话回复自动生成方法、系统及存储介质，涉及了一种新的开放域对话回复自动生成模型，针对传统模型倾向于生成万能回复以及上下文无关回复的问题，TBERT首先利用BERT模型学习出问句的主题信息，然后将主题信息引入到回复生成模块中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。

技术领域

本发明涉及开放域对话系统技术领域，特别涉及一种开放域对话回复自动生成方法、系统及存储介质。

背景技术

智能对话系统是人工智能领域的一个重要研究方向，该系统能够实现让人与机器通过自然语言进行交互。当前，根据应用场景的不同，智能对话系统可以分为以下两种：一种是任务型对话系统，另一种是开放域对话系统。任务型对话系统以特定任务为导向，用户使用这类对话系统可以解决特定领域的特定问题，例如：预定机票、预订酒店、网站客服、车载助手等。开放域对话系统则不限制用户提问的特定领域，没有明确目的的对话系统都可以归入此类中，例如：微软的聊天机器人小冰，Zo等。相比于任务型对话系统，开放域对话系统的优势在于其能够拉近用户和对话系统间的距离，可以用于情感陪伴等任务型对话系统无法完成的任务。

传统的开放域对话系统主要采用基于检索的方法。这类方法首先定义问题与回复之间的索引，当用户发出询问时，对话系统利用语料库中的索引输出该问题对应的回复。然而，该类方法非常依赖对话语料库的质量，如果所使用对话语料噪声大，则无论模型优劣其回复都不尽人意。并且，这类对话系统回复内容单一，对于用户的问题，只能在语料库中搜索回复，如果语料库中没有对应的回复，系统则无法做出响应。近年来，基于生成模型的开放域对话系统取得了较大进展。这类方法首先利用序列到序列模型对对话语料库数据进行学习，然后基于深度学习模型自动生成回复内容。与基于检索的方法相比，这类方法对于用户提出的问题可以产生新的回复，具有更广泛的应用领域，已经受到了学术界和工业界的共同关注。

但是，基于生成模型的开放域对话系统存在以下两个亟待解决的关键问题：(1)序列到序列模型仅能针对对话数据的局部信息进行学习，难以针对上下文进行处理，因此自动生成的回复易出现上下文无关，前后矛盾等现象。(2)标准的序列到序列模型倾向于生成高频万能回复，例如“好的”、“我不知道”等。这类回复缺乏足够的有用信息，难以给用户提供实质帮助。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种开放域对话回复自动生成方法、系统及存储介质，解决现有技术中开放域对话回复自动生成体系回复质量不佳的技术问题。

为了达到上述目的，本发明采取了以下技术方案：

一种开放域对话回复自动生成方法，包括如下步骤：S1，提供一对话语料数据集，对所述对话语料数据集进行预处理，得到用户问句；S2，依据TBERT模型对所述用户问句进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。

优选的，所述S1中所述预处理具体包括：将所有字母转变为小写字母；过滤掉非拉丁字符和停用词；过滤掉出现次数小于预设次数的词。

优选的，所述S2具体包括以下步骤：S21，依据TBERT模型对所述用户问句进行向量化处理，得到字符向量；S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；S24，将所述主题向量通过函数处理来预测用户问句中的每个词，得到用户问句对应的主题词。

优选的，所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成。