[发明专利]用于个性化和多模态的上下文感知的人机对话的系统和方法

权利要求书

1.一种在至少一个机器上实现的方法，所述至少一个机器包括至少一个处理器、存储器和能够连接到网络以进行人机对话的通信平台，所述方法包括以下步骤：

从参与所述人机对话的用户接收关于对话场景中的话题的话语；

获得与所述人机对话相关的多模态周围信息；

分析所述多模态周围信息以跟踪所述人机对话的多模态上下文；以及

基于所跟踪的多模态上下文，以上下文感知的方式来个性化对所述话语的口语理解，以确定所述话语的语义。

2.如权利要求1所述的方法，其中，所述多模态周围信息包括声学和视觉信息。

3.如权利要求1所述的方法，其中，所述多模态上下文包括以下中的至少一项：

所述对话场景中的对象及其空间关系；

发生在过去和/或在所述对话期间观察到的与所述用户相关的至少一个事件；

在所述对话场景中观察到的一个或多个声学/视觉活动；

与所述用户的先前记录的已知特点和/或在所述对话中观察到的所述用户的特点有关的信息；以及

常识知识。

4.如权利要求3所述的方法，其中，在所述对话中观察到的所述用户的特点包括以下中的至少一项：

关于行为、表情和动作中的至少一项的对所述用户的观察；以及

基于所述观察得出的对所述用户的情绪和/或意图的推断。

5.如权利要求1所述的方法，其中，个性化对话语的口语理解的步骤包括：

通过自动语音识别ASR，识别经由所述话语说出的各个词语，其中，所述ASR基于所述多模态上下文中表示的所述用户的特点来消除所述用户说出的词语的歧义；以及

通过自然语言理解NLU，确定所述话语的语义，其中所述NLU基于在所述对话场景中观察到的以及在所述多模态上下文中表示的声学/视觉活动来确定所述语义。

6.如权利要求1所述的方法，还包括：

基于支配关于所述话题的所述人机对话的对话策略，来确定对所述话语的响应；

根据所述多模态上下文，基于所述响应来生成个性化的文本响应；以及

基于所述多模态上下文，以上下文感知的方式生成与所述个性化的文本响应对应的个性化的声学响应。

7.如权利要求6所述的方法，其中：

所述个性化的文本响应是从与所述响应相关联的参数化的内容集中选择的；以及

所述个性化的文本响应是通过以下方式而选择的：

基于在所述多模态上下文中表示的用户的特点而选择，所述用户的特点是先前已知的和/或当前在所述对话场景中观察到的，以及

基于在所述多模态上下文中表示的上下文信息以上下文感知的方式而选择。

8.如权利要求6所述的方法，其中，所述个性化的声学响应是根据在所述多模态上下文中表示的上下文信息以相对于用户被个性化且上下文感知的方式而渲染的。

9.如权利要求1所述的方法，还包括，当所述对话与根据当前辅导计划关于所述话题的辅导会话相对应时，

基于所述话语的所述语义，评估所述用户相对于所述当前辅导计划的一个或多个方面的表现；

根据所述多模态上下文，以上下文感知的方式，基于所述表现来调整所述当前辅导计划以生成个性化的辅导计划；以及

在所述对话中应用所述个性化的辅导计划，以继续关于所述话题的所述辅导会话。

10.如权利要求7所述的方法，还包括：基于所跟踪的多模态上下文来更新所述对话策略，使得所述对话策略是个性化的并且是上下文感知的。