[发明专利]一种基于平衡分布的通用英文人机对话生成方法和系统

说明书

本发明公开了一种基于平衡分布的英文人机对话生成方法和系统，在该方法中，首先提出了一个特征感知权重网络，该网络将生成的响应作为输入，以学习有关不同对话信息(如对话行为或情感)的适当权重。之后，将该权重分配给生成器生成的响应中的不同单词，将其作为偏移量来修改原始损失函数。最后，利用修改后的损失函数来训练生成器来生成与各种外部信息相关的响应。本发明的贡献主要有两个方面：(1)提供了一个方法，该方法为几乎所有生成器引入了外部权重，以更好地适应各种外部信息。(2)提供了一个特征感知权重网络，根据每个单词与对话外部信息的关系为每个单词生成不同的权重。本发明与其他基础模型相比，生成效果得到了明显地提升。

技术领域

本发明属于对话生成，自然语言处理研究的技术领域，通过在生成器之上附加特征感知权重网络从而提高生成器的生成质量。该方法所利用的信息即为包括对话行为、对话情感在内的对话信息，通过这些信息，本发明可以调整生成器原本生成单词的分布，从而使得生成的响应更满足上下文的需要。

背景技术

随着计算机的兴起，人类就开始构思人工智能，而人工智能的核心则应该是机器人与人类的对话能力，也因此，图灵定义了图灵测试来作为人工智能的评价标准，具体来说，图灵测试就是让人类在只能获得文本回答的基础上判断对方是否是人工智能，尽管此方法有一定的争议性，但对话对于人工智能的价值由此可见一斑。

在深度学习的浪潮下，自然语言处理，尤其是对话系统越来越受到研究者的关注。对话系统旨在使计算机学会与人交流，其包含面向任务和开放式两种类型。具体而言，面向任务的对话系统尝试帮助用户完成某些任务，例如查找产品，预订住宿和餐馆。任务型对话机器人如Siri、小爱同学等可以作为人类的智能助手，帮助人类快速完成一些简单的操作，比如定闹钟、发微信等。除此之外，客服也是这类机器人的一大应用场景，使用机器人客服可以提升用户的使用体验，也可以降低企业成本。另一方面，开放域对话生成系统，也称为闲聊机器人，侧重于通过提取历史话语来生成相关和多样化的对话响应。在这样的现实背景下，许多公司，包括微软，苹果，Facebook和谷歌都设计了他们的聊天机器人产品。聊天机器人的核心是对话生成引擎。对话产品能够提高用户的关注度，增加产品的趣味性作为流量的一个入口，对于用户来说，也可以排遣枯燥的生活。

另一方面，随着互联网的发展，大量的语料充斥于网络上，这就为数据驱动型的算法奠定了基础。目前主流的对话生成器便是这样的算法，然而数据驱动的一大问题就是模型总是会产生通用的回答，因此本发明提出可以利用对话行为等信息来使得对话更符合上下文从而提高对话生成的质量。

发明内容

本发明要解决的技术问题为：克服现有对话生成器总是产生通用答复这个问题，提供基于平衡分布的通用英文对话生成方法，通过将对话行为等信息融合到生成器中，提高了生成的质量。

本发明解决上述技术问题的技术方案为：一种基于平衡分布的通用英文人机对话生成方法，该方法具体步骤如下：

步骤(1)、初始化文本词向量。采用文本语料(例如谷歌新闻语料)预训练完成的词向量(例如300维)来表示对话语料中的大部分单词，对于出现频率过低的，统一将其指定为未知(UNK)；

步骤(2)、搭建特征感知权重网络。首先搭建两层前馈神经网络，将对话语料中的输入转变为词向量形式并作为两层前馈网络的输入；

z_i＝g(z_i-1)＝f(W_iz_i-1+b_i)

其中，W_i，b_i是参数，z₀＝e_i，z_i是特征感知权重网络的第i层，f(·)是激活函数，本发明使用的是修正线性单元(Rectified Linear Units,ReLU)激活函数。