[发明专利]会话响应的上下文敏感生成

说明书

背景技术

响应生成系统(也称为对话系统或会话代理)在各种计算系统和设备中日益普遍存在。响应生成系统被设计为解释从用户接收的自然语言输入消息，并且向用户输出自然语言响应。当前的对话系统通常是基于规则的系统，其利用手写脚本对话并且依靠统计算法来跟踪会话中的每个步骤之间的状态。这些对话系统的很多部件仍然是手工编码的。特别地，这些系统依赖于定义对话状态的标签和属性。

然而，这些基于规则的系统通常仅考虑用户输入消息和响应。这些系统不支持并入关于在前的会话上下文的信息。

此外，当前的响应生成系统通常分离对话管理和响应生成。由于这些系统的限制，这些系统输出的响应通常与用户输入消息和/或会话无关、不适当或缺乏相关性。此外，这些系统并不是非常鲁棒：它们不适应新的领域，并且它们不能扩展。

已经提出的基于规则的系统的一种替代方案是通过尝试将输入句子中的短语映射到可能输出的网格中的短语来借用于机器翻译技术的系统。机器翻译也可以称为自动语言翻译。这些系统使用短语表查找来提供映射。然而，尝试将上下文信息添加到这些基于机器翻译的系统会导致存储消息与响应之间的映射的短语表中的稀疏性和偏斜性增加。换言之，将上下文信息注入到这些机器翻译模型中导致短语表的无法管理的增长，代价是针对很少见的上下文对增加了稀疏性和偏斜性。此外，在很多当前的机器翻译统计方法中，短语对不分享统计权重，而不管其内在语义共性。

发明内容

本公开的示例提供了用于自动生成上下文敏感会话响应的响应生成引擎。在示例中，提供了一种用于上下文敏感会话响应的无状态地生成的计算机实现的方法。用户接口设备接收与当前会话相关联的用户生成的消息。响应生成引擎从与用户相关联的上下文数据源集合访问与用户生成的消息相对应的会话上下文数据。在从至少一个会话数据源中提取的多个上下文消息响应n元组上训练响应生成引擎。响应生成引擎基于会话上下文数据和用户生成的消息来生成对用户生成的消息的上下文敏感响应。

提供本发明内容以便以简化的形式介绍概念的选择，这些概念在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1是示出用于上下文敏感会话响应的自动生成的计算设备的示例性框图。

图2是示出计算设备生成对用户消息的上下文敏感响应的操作的流程图。

图3是示出响应生成系统的示例性框图。

图4是示出训练响应生成引擎的示例性图。

图5是示出上下文敏感响应的生成的示例性框图。

图6是示出上下文消息响应三元组的示例性框图。

图7是示出基于上下文消息对从会话数据源中提取的响应的示例性框图。

图8是示出从会话数据源挖掘的附加上下文消息响应三元组的示例性框图。

图9是示出基于包括用户的心情的上下文来偏置响应的示例性框图。

图10是示出基于包括用户的心情的上下文来偏置响应的另一示例性框图。

图11是示出响应的上下文条件的示例性框图。

图12是示出循环神经网络语言模型(RLM)的紧凑表示的示例性框图。

图13是示出两个时间步长的RLM的展开表示的示例性框图。

图14是示出动态上下文生成神经网络模型(DCGM)的紧凑表示的示例性框图。

图15是示出连接上下文和消息的表示以保持顺序的DCGM的紧凑表示的示例性框图。

图16是示出机器翻译的上下文敏感排序结果的表。

图17是示出信息检索的上下文敏感排序结果的表。

图18是示出使用机器翻译技术的学习的上下文消息模型特征的权重的条形图。

图19是示出使用信息检索的学习的上下文消息模型特征的权重的条形图。

图20是示出使用第一动态上下文生成模型的学习的上下文消息模型特征的权重的条形图。

图21是示出使用第二动态上下文生成模型的学习的上下文消息模型特征的权重的条形图。

图22是示出响应生成系统的性能的评估得分的表。

图23是示出计算设备基于会话上下文数据生成响应的操作的流程图。

图24是示出计算设备由经训练的响应生成引擎生成响应的操作的流程图。

图25是示出数字助理的示例性框图。

对应的附图标记在所有附图中表示对应的部分。

具体实施方式