[发明专利]动态响应虚拟角色的多模态模型

权利要求书

1.一种控制虚拟角色的方法，所述方法包括：

从设备接收多模态输入信息，所述多模态输入信息包括语音信息，面部表情信息，和代表所述设备周围环境的环境信息中的任一个；

在所述设备上呈现的显示环境中的某个位置显示所述虚拟角色；

实现至少两个内部模型来确认所述多模态输入信息的特征；

检查至少两个内部模型的所确认特征以确定所确认特征的第一所确认特征是否包括所确认特征的第二所确认特征的相似特征的阈值数量；

将第一所确认特征和第二所确认特征与特定于虚拟角色知识模型中包括的所述虚拟角色的信息进行比较，以基于确定所述第一所确认特征包括所述所确认特征的所述第二所确认特征的相似特性的阈值数量来选择所选择的特征；

访问与所述虚拟角色相关联的潜在动作库以确定与所述所选择的特征匹配的动作，所述动作包括将由所述虚拟角色执行的动画和相关联的音频；和

通过修改所述设备上呈现的环境中的所述虚拟角色并输出所述相关联的音频来实施所述确定的动作。

2.如权利要求1所述的方法，其中所述至少两个内部模型包括能够从所述语音信息中解析出语音情绪的语音识别模型和能够基于所述面部表情信息检测面部特性情绪的面部特性识别模型，其中所述所选择的特征是所述语音情绪和所述面部特性情绪中共有的情绪，并且其中所述所确定的动作是基于所述情绪来确定的。

3.如权利要求1所述的方法，其中所述至少两个内部模型包括能够检索包括和先前与用户的互动相关的信息的先验知识信息的先验知识模型，其中基于使用所述先验知识模型处理的所述先验知识信息来选择所述所选择的特征。

4.如权利要求1所述的方法，其中所述内部模型包括被配置为从音频信息获得情境和含义的自然语言理解模型，被配置为确认环境信息的意识模型，以及被配置为确认与用户和其他虚拟角色相关的数据的社交模拟模型。

5.如权利要求1所述的方法，还包括：

指示所述虚拟角色在所述设备上执行代表对用户的查询的初始动作，其中所述输入信息代表所述用户对所述查询的响应。

6.如权利要求1所述的方法，还包括：

经由网络向多个用户共享所嵌入的链接；

从一组设备中的任何一个接收选择，其表示所述所嵌入的链接已被选择；和

响应于接收所述选择，向发送所述选择的所述一组设备中的所述设备传送数据流以在所述设备上显示所述虚拟角色。

7.如权利要求6所述的方法，还包括：

在第一时间传送第一批所述数据流，所述第一批包括用于在所述设备的所述显示器上初始生成所述虚拟角色的信息；和

在所述第一时间之后的第二时间传送第二批所述数据流，所述第二批包括用于由所述虚拟角色输出第一动作的信息，其中所述第一批在所述第二时间被丢弃。

8.如权利要求1所述的方法，还包括：

检查环境信息以确认代表所述环境的地板的所述环境的一部分；和

将所述虚拟角色安置在代表所述环境的所述地板的所述环境的所述部分上方的第一位置。