[发明专利]多模态响应

权利要求书

1.一种由一个或多个处理器实现的方法，所述方法包括：

基于由多模态客户端设备的用户提供的用户接口输入的一个或多个实例，确定客户端设备动作；

至少部分地基于来自所述多模态客户端设备的一个或多个传感器的传感器数据，确定所述多模态客户端设备的当前客户端设备模态，

其中所述当前客户端设备模态是对于所述多模态客户端设备可用的多个分立的客户端设备模态中的一个，以及

其中确定所述当前客户端设备模态所基于的所述传感器数据是除了由用户接口输入的所述一个或多个实例生成的任何传感器数据之外的传感器数据；

使用多模态响应来生成针对所述客户端设备动作的客户端设备输出，

其中所述多模态响应包括针对所述多个分立的客户端设备模态的、针对所述客户端设备动作的输出的组成部分，以及

其中生成所述客户端设备输出包括：选择与所述当前客户端设备模态相关的、所述多模态响应的所述组成部分中的一个或多个组成部分；以及

使得所述客户端设备输出由所述多模态客户端设备的一个或多个用户接口输出设备渲染。

2.根据权利要求1所述的方法，其中，所述多模态响应是由所述多模态客户端设备从远程服务器接收的，并且其中，生成所述客户端设备输出是由所述多模态客户端设备进行的。

3.根据权利要求2所述的方法，其中，所述多模态响应是由所述多模态客户端设备响应于由所述多模态客户端设备传输到所述远程服务器的请求而从所述远程服务器接收的，所述请求是基于所述用户接口输入，并且其中，确定所述多模态客户端设备的所述当前客户端设备模态是由所述多模态客户端设备进行的并且发生在传输所述请求之后。

4.根据权利要求2所述的方法，进一步包括：

在所述客户端设备输出的至少一部分正在由所述多模态客户端设备的所述一个或多个用户接口输出设备渲染时：

检测所述多模态客户端设备从所述当前客户端设备模态到分立的新客户端设备模态的切换；

响应于检测到所述切换，使用所述多模态响应来生成替选客户端设备输出，其中所述替选客户端设备输出相对于所述客户端设备输出包括附加内容或更少内容；以及

使得所述替选客户端设备输出由所述多模态客户端设备渲染。

5.根据权利要求4所述的方法，

其中，所述客户端设备输出包括：经由所述多模态客户端设备的所述一个或多个用户接口输出设备中的至少一个扬声器渲染的可听输出以及经由所述一个或多个用户接口输出设备中的至少一个显示器渲染的视觉输出，

其中，所述替选客户端设备输出缺少所述视觉输出，以及

其中，使得所述替选客户端设备输出由所述多模态客户端设备渲染包括：停止由所述至少一个显示器渲染所述视觉输出。

6.根据权利要求1所述的方法，其中，至少部分地基于所述传感器数据来确定所述当前客户端设备模态包括：

确定所述多模态客户端设备的定向；以及

基于所述多模态客户端设备的所述定向来选择所述当前客户端设备模态。

7.根据权利要求5所述的方法，其中，所述多模态响应的所述组成部分包括：核心消息组成部分和一个或多个取决于模态的组成部分。

8.根据权利要求7所述的方法，其中，生成所述客户端设备输出进一步包括：至少选择所述多模态响应的所述核心消息组成部分，并且其中，选择与所述当前客户端设备模态相关的、所述多模态响应的所述组成部分中的所述一个或多个组成部分包括：选择所述取决于模态的组成部分中的一个或多个组成部分。

9.根据权利要求8所述的方法，其中，所述当前客户端设备模态是仅语音交互，并且所述客户端设备输出仅经由所述一个或多个用户接口输出设备中的一个或多个扬声器来渲染。