[发明专利]训练和/或使用编码器模型确定自然语言输入的响应动作

说明书

系统、方法和计算机可读介质涉及：训练编码器模型，该编码器模型可用于(直接和/或间接)确定自然语言文本字符串与一个或多个附加自然语言文本字符串中的每一个的语义相似性；和/或使用经训练的编码器模型来确定要响应自然语言查询执行的一个或多个响应动作。编码器模型是机器学习模型，例如神经网络模型。在训练编码器模型的一些实现方式中，编码器模型被训练为基于与可以使用编码器模型的“语义文本相似性”任务不同的一个或多个任务而训练的较大的网络架构的一部分。

背景技术

用户利用自由形式自然语言输入与各种应用程序对接。例如，用户可以使用此处称为“自动助理”(也称为“聊天机器人”，“交互式个人助理”，“智能个人助理”，“个人语音助理”，“会话代理”等)的交互式软件应用来参与人机对话。例如，人类(当他们与自动助理交互时可以称为“用户”)可以使用自由形式自然语言输入来提供命令、查询和/或请求(在本文中统称为“查询”)，自由形式自然语言输入可以是被转换成文本然后进行处理的有声话语和/或通过键入的自由形式自然语言输入。

许多自动助理和其他应用被配置为响应于各种查询而执行一个或多个响应动作。例如，响应于自然语言查询“how are you(你好吗)”，自动助理可以配置为以图形和/或声音输出“great,thanks for asking(很好，谢谢询问)”来响应查询。作为另一个示例，响应于对“what’s the weather for tomorrow(明天天气如何)”的查询，可以将自动助理配置为(例如，通过API)与天气代理(例如，第三方代理)对接以确定“本地的”明天的天气预报，并且利用传达这样的天气预报的图形和/或声音输出来响应该查询。作为又一个示例，响应于对“play music videos on my TV(在我的电视上播放音乐视频)”的用户查询，可以将自动助理配置为使音乐视频在用户的网络电视上流传输。

然而，响应于寻求执行自动助理可执行的动作的各种查询，许多自动助理可能无法执行该动作。例如，自动助理可以被配置为响应于“play music videos on my TV”的查询而使音乐视频在用户的网络电视上流传输，但是可能无法响应于例如“make somevideos of the music variety appear on the tube(使音乐曲目的一些视频出现在管子上)”的各种其他查询而执行这种动作，尽管其他查询都寻求执行相同的动作。因此，自动助理将不会执行查询所期望的动作，而是可以提供一般误差响应(例如，“I don’t know howto do that(我不知道该怎么做”)或完全不响应。这可能导致用户不得不在另一个尝试中提供另一个查询，以使自动助理执行该动作。这浪费了各种资源，例如处理查询(例如，语音到文本处理)和/或传输查询(例如，当自动助理的组件位于远离提供查询的客户端的设备上时)所需的资源。

发明内容

本说明书的实现方式针对与以下有关的系统，方法和计算机可读介质：训练编码器模型，该编码器模型可用于(直接和/或间接)确定自然语言文本字符串与一个或多个附加自然语言文本字符串中的每一个的语义相似性；和/或使用经训练的编码器模型来确定要响应自然语言查询执行的一个或多个响应动作。编码器模型是机器学习模型，例如神经网络模型。