[发明专利]多模态虚拟机器人交互方法和系统

权利要求书

1.一种多模态虚拟机器人交互方法，其特征在于，所述方法包括以下步骤：

启用虚拟机器人，以将所述虚拟机器人的形象在预设显示区域中显示，所述虚拟机器人具备设定性格和背景故事，其中，触发启用虚拟机器人的事件的条件包括：检测到有特定的生物特征输入或装载有虚拟机器人程序包的硬件被启动或该硬件装载的指定系统、应用、指定功能被启动；

获取用户发送的单模态和/或多模态交互指令；

调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图；

根据当前应用场景和所述设定性格来筛选生成与所述设定性格和所述背景故事相关联的多模态应答数据，其中，判断所述单模态和/或多模态交互指令与所述设定性格是否相符，当所述交互指令的意图指向与所述设定性格指向不符，输出表征拒绝的应答数据，所述应答数据可为多模态应答数据；

通过所述虚拟机器人的形象输出所述多模态应答数据。

2.如权利要求1所述的多模态虚拟机器人交互方法，其特征在于，调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图的步骤包括：

调用与所述设定背景故事和所述设定性格相适应的语音识别、视觉识别、语义理解、情感计算、认知计算、表情控制、动作控制接口。

3.如权利要求1所述的多模态虚拟机器人交互方法，其特征在于，所述单模态和/或多模态交互指令包括娱乐、陪伴、助手应用场景下发出的交互指令。

4.如权利要求1所述的多模态虚拟机器人交互方法，其特征在于，虚拟机器人的存在形态并不限定如下方式中的任一项：

系统服务、平台功能、应用中功能、单独的应用、文本机器人匹配虚拟形象。

5.一种存储介质，其上存储有可执行如权利要求1-4中任一项所述的方法步骤的程序代码。

6.一种多模态虚拟机器人交互装置，其特征在于，所述装置包括：

启动显示单元，其用于启用虚拟机器人，以将所述虚拟机器人的形象在预设显示区域中显示，所述虚拟机器人具备设定性格和背景故事，其包含：检测子单元，其用于检测特定的生物特征输入或，装载有虚拟机器人程序包的硬件被启动或，该硬件装载的指定系统、应用、指定功能被启动，显示子单元，其用于将所述虚拟机器人的形象在预设显示区域中显示；

获取单元，其用于获取用户发送的单模态和/或多模态交互指令；

调用单元，其用于调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图；

生成单元，其用于根据当前应用场景和所述设定性格来筛选生成与所述设定性格和所述背景故事相关联的多模态应答数据，其包含：判断子单元，其用于判断所述单模态和/或多模态交互指令与所述设定性格是否相符，拒绝子单元，其用于当所述交互指令的意图指向与所述设定性格指向不符，输出表征拒绝的应答数据，所述应答数据可为多模态应答数据；

输出单元，其用于通过所述虚拟机器人的形象输出所述多模态应答数据。

7.如权利要求6所述的多模态虚拟机器人交互装置，其特征在于，所述装置包括：

与所述设定背景故事和所述设定性格相适应的语音识别子单元、视觉识别子单元、语义理解子单元、情感计算子单元、认知计算子单元、表情控制子单元以及动作控制子单元。

8.如权利要求6所述的多模态虚拟机器人交互装置，其特征在于，所述装置包含场景选择单元，其用于选择应用场景，其中，应用场景包含娱乐应用场景、陪伴应用场景以及助手应用场景。

9.如权利要求6-8中任一项所述的多模态虚拟机器人交互装置，其特征在于，所述装置包含支持所述虚拟机器人的存在形态并不限定如下方式中的任一项进行多模态交互的组件：

系统服务、平台功能、应用中功能、单独的应用、文本机器人匹配虚拟形象。

10.一种多模态虚拟机器人交互系统，其特征在于，所述系统包括：

目标硬件设备，用于显示具备设定背景故事和设定性格的虚拟机器人形象，并具有接收用户发送的的单模态和/或多模态交互指令的能力以及输出多模态应答数据的能力，其包含：生物特征检测模块，其用于检测是否有特定的生物特征输入，以及，检测装载有虚拟机器人程序包的硬件被启动，或该硬件装载的指定系统、应用、指定功能被启动；

云端服务器，其与所述目标硬件设备进行通信，并提供多模态机器人能力接口，用于执行以下步骤：

调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图；

根据当前应用场景和所述设定性格来筛选生成与所述设定性格和所述背景故事相关联的多模态应答数据，其中，判断所述单模态和/或多模态交互指令与所述设定性格是否相符，当所述交互指令的意图指向与所述设定性格指向不符，输出表征拒绝的应答数据，所述应答数据可为多模态应答数据。