[发明专利]一种基于层次化注意力机制的多轮对话模型构建方法

说明书

技术领域

本发明涉及人机对话系统，具体涉及一种基于层次化注意力机制的多轮对话模型构建方法。

背景技术

1、国外技术现状

(1)基于人工模板的对话系统

基于人工模板的技术通过人工设定对话场景，并对每个场景写一些针对性的对话模板，模板描述了用户可能的问题以及对应的答案模板。

Weizenbaum等人(1966)开发出最早的聊天机器人ELIZA，ELIZA根据对话中可能出现的语言情况，去预先设计对应的语言模板，文本生成器会根据用户的输入将输入中的重要信息嵌入到模板中，最终得到回复。

他们都将聊天限制到特定场景或者特定的话题，并且使用一组模板规则来生成响应。

(2)基于检索的对话系统

基于检索技术的聊天机器人则使用是类似搜索引擎的方法，事先存储好对话库并建立索引，根据用户问句，在对话库中进行模糊匹配找到最合适的应答内容。

Shaikh等人(2010)构建了一个虚拟聊天机器人(VCA)，可以在聊天室中与人们进行初步的社交，他们使用一种新颖的方法来利用正在进行的对话主题来进行网络搜索，并找到可以插入对话中的相关主题来改变其流程，可以看作是基于检索和以及模板方法的融合。

(3)基于深度学习的对话生成模型

深度学习技术在对话生成中的应用主要是面向开放域聊天机器人，因为大规模通用语料的获取较为容易，最常用的借鉴机器翻译的Sequence to Sequence模型，将对话生成的由问题到回复的整个过程视为机器翻译中从源语言到目标语言的翻译过程。

Ritter等人(2011)使用了从Twitter中获取的对话语料，利用Seq2Seq模型使得效果超过了基于检索系统的对话模型。

Sordoni等人(2015)提出一个对话生成系统，该系统考虑到了对话中的上下文信息，从而在回复一致性上取得提升。

Serban等人(2016)提出了Hierarchical Nerual Network模型，旨在对对话中上下文的语义和交互进行建模，从而构建一个多轮的对话系统。

Jiwei Li等人(2016)致力于解决传统Seq2Seq模型生成通用回复的问题，引入了互信息作为目标函数，提高了生成回复的多样性。同时Jiwei Li(2016)使用改进的Seq2Seq模型对用户风格进行了建模，在解码端引入了用户embedding作为先验，从而提高了对话系统的一致性和相关性。

Louis Shao等人(2017)改进了Seq2Seq模型的训练方法和decode端，并且加入了beam-search，从而提高模型生成的回复长度以及一致性和相关性。

2、国内技术现状

国内因为起步较晚，在对话系统方面的研究也主要是基于深度学习的方法，Li Hang等人(2015)提出了Neural Responding Machine，使用改进的Seq2Seq模型，加入Attention机制并使用多个模型进行融合从而在短文本对话系统上取得了不错的结果。

Mou Lili(2016)着眼于解决传统Seq2Seq模型生成通用回复的问题，提出先Seq2Bf模型，通过使用互信息先预测关键词，再基于关键词进行回复句子的生成。

同时Zongcheng Ji(2014)则使用基于检索的方法，使用最先进的信息检索技术，依靠庞大的对话语料库，创建了一个相对智能的对话系统。

3、国内外文献综述的简析

目前国内外对于开放域对话生成系统的研究主要包括基于模板的方法，基于检索的方法以及基于深度学习的方法。早期时的基于模板的方法没有进行真正的语言处理，生成的语言僵硬，形式化，往往存在语义和流畅度方面的问题，相对于开放域对话系统，该方法更适合任务型聊天机器人。

基于检索的方法是在已有的人人对话语料库中通过排序学习技术和深度匹配技术找到适合当前输入的最佳回复。这种方法的局限是仅能以固定的语言模式进行回复，无法实现词语的多样性组合。

目前最流行的方法是基于深度学习的方法，使用来自机器翻译任务的Seq2Seq模型，一般是Encoder-Decoder结构，配合较大规模的对话语料，用于实现端到端的训练，从而获得一个对话系统。该方法能够突破之前的方法对于句式词语的限制，主要是对用户输入的问题进行建模，然后根据中间结果进行逐字(词)的生成，可以创造性地生成回复，目前绝大多数研究都是基于该模型的拓展或者改进。