[发明专利]多模态虚拟机器人交互方法和系统

说明书

本发明提供一种多模态虚拟机器人交互方法，包括以下步骤：启用虚拟机器人，将虚拟机器人的形象在预设显示区域中显示，虚拟机器人具备设定性格和背景故事；获取用户发送的单模态和/或多模态交互指令；调用机器人能力接口对单模态和/或多模态交互指令进行解析，获取交互指令意图；根据当前应用场景和设定性格来筛选生成与设定性格和背景故事相关联的多模态应答数据；虚拟机器人形象输出多模态应答数据。本发明采用具有设定故事以及性格属性的虚拟机器人进行对话交互使得用户看起来是在与人对话。并且，本发明的虚拟机器人还具备根据设定的性格属性和设定故事筛选生成多模态应答数据的功能，使得虚拟机器人对交互内容具备了一定的选择性与主动性。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种多模态虚拟机器人交互方法和系统。

背景技术

机器人聊天交互系统的开发致力于模仿人类对话。早期广为人知的聊天机器人应用程序包括小i聊天机器人、苹果手机上的siri聊天机器人等处理所接收到的输入(包括文本或语音)并进行响应，以试图在上下文之间模仿人类响应。

然而，要想使虚拟机器人具备人类的某些特性甚至是完全模仿人类对话，丰富用户的交互体验，现有的这些智能机器人远远达不到要求。

发明内容

为解决上述问题，本发明提供了一种多模态虚拟机器人交互方法，所述方法包括以下步骤：

启用虚拟机器人，以将所述虚拟机器人的形象在预设显示区域中显示，所述虚拟机器人具备设定性格和背景故事；

获取用户发送的单模态和/或多模态交互指令；

调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图；

根据当前应用场景和所述设定性格来筛选生成与所述设定性格和所述背景故事相关联的多模态应答数据；

通过所述虚拟机器人的形象输出所述多模态应答数据。

根据本发明的一个实施例，触发启用虚拟机器人的事件的条件包括：

检测到有特定的生物特征输入；

或，装载有虚拟机器人程序包的硬件被启动；

或，该硬件装载的指定系统、应用、指定功能被启动。

根据本发明的一个实施例，调用机器人能力接口对所述单模态和/或多模态交互指令进行解析，获取所述交互指令的意图的步骤包括：

调用与所述设定背景故事和所述设定性格相适应的语音识别、视觉识别、语义理解、情感计算、认知计算、表情控制、动作控制接口。

根据本发明的一个实施例，在筛选生成与所述设定性格和所述背景故事相关联的多模态应答数据的步骤中，进一步包括：

判断所述单模态和/或多模态交互指令与所述设定性格是否相符；

当所述交互指令的意图指向与所述设定性格指向不符，输出表征拒绝的应答数据，所述应答数据可为多模态应答数据。

根据本发明的一个实施例，所述单模态和/或多模态交互指令包括娱乐、陪伴、助手应用场景下发出的交互指令。

根据本发明的一个实施例，虚拟机器人的存在形态并不限定如下方式中的任一项：

系统服务、平台功能、应用中功能、单独的应用、文本机器人匹配虚拟形象。

根据本发明的另一个方面，还提供了一种存储介质，其上存储有可执行以上任一项所述的方法步骤的程序代码。

根据本发明的另一个方面，还提供了一种多模态虚拟机器人交互装置，所述装置包括：