[发明专利]多模态虚拟机器人的多模态交互方法和系统

说明书

本发明提供一种多模态虚拟机器人的多模态交互方法，其中，虚拟机器人的形象在目标硬件设备的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，方法包括以下步骤：获取用户发送的单模态和/或多模态交互指令；调用语义理解能力、情感识别能力、视觉能力和认知能力的接口，以生成各个模态的应答数据，各个模态的应答数据与预设的角色属性相关；将各模态的应答数据融合生成多模态输出数据；通过虚拟机器人形象输出多模态输出数据。本发明采用虚拟机器人进行对话交互，一方面可以将某一形象的个体通过高模3D建模技术在人机交互界面上显示出来；另一方面可以通过虚拟形象的动画实现语音与嘴型、表情以及肢体动作自然融合的效果。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种多模态虚拟机器人的多模态交互方法和系统。

背景技术

随着人工智能热潮的不断升级，虚拟机器人聊天交互系统也越来越多的受到大众的关注。机器人聊天交互系统的开发致力于模仿人类对话。早期广为人知的聊天机器人包括小i聊天机器人、苹果的siri聊天机器人等处理所接收到的输入(包括文本或语音)并进行响应，以试图模仿人类响应。

然而，要想完全模仿人类对话，丰富用户的交互体验，现有的这些智能机器人远远达不到要求。

发明内容

为解决上述问题，本发明提供了一种多模态虚拟机器人的多模态交互方法，所述虚拟机器人的形象在目标硬件设备的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，所述方法包括以下步骤：

获取用户发送的单模态和/或多模态交互指令；

调用语义理解能力、情感识别能力、视觉能力和认知能力的接口，以生成各个模态的应答数据，所述各个模态的应答数据与预设的角色属性相关；

将各模态的应答数据融合生成多模态输出数据；

通过所构建的虚拟机器人形象输出所述多模态输出数据。

根据本发明的一个实施例，将各模态的应答数据融合生成多模态输出数据的步骤包括：

将语音应答数据进行语音切分生成语音切分数据；

将所述语音切分数据与嘴型应答数据融合。

根据本发明的一个实施例，将各模态的应答数据融合生成多模态输出数据的步骤包括：

将所述语音切分数据、所述嘴型应答数据以及表情应答数据融合。

根据本发明的一个实施例，将各模态的应答数据融合生成多模态输出数据的步骤包括：

将所述语音切分数据、所述嘴型应答数据、所述表情应答数据以及肢体动作应答数据融合。

根据本发明的一个实施例，虚拟机器人以如下方式的任一且不限于如下方式进行多模态交互：

系统服务、平台功能、应用中功能模块、应用(APP)、主题、屏显。

根据本发明的一个实施例，所述角色属性包括性格属性。

根据本发明的一个实施例，所述目标硬件设备的预设显示区域包括：PC屏、投影仪、电视机、全息投影、多媒体显示屏、VR或AR。

根据本发明的一个实施例，所述虚拟机器人的形象为3D高模动画形象。

根据本发明的一个实施例，所述方法还包括在所述目标硬件设备的交互界面上输出所述多模态输出数据对应的文本信息。

根据本发明的另一个方面，还提供了一种多模态虚拟机器人的多模态交互装置，其特征在于，所述虚拟机器人的形象在所述装置的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，所述装置包括：

获取单元，其用于获取用户发送的单模态和/或多模态交互指令；