[发明专利]多模态虚拟机器人的多模态交互方法和系统

权利要求书

1.一种多模态虚拟机器人的多模态交互方法，其特征在于，所述虚拟机器人的形象在目标硬件设备的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，所述虚拟机器人包括3D高模动画的虚拟机器人形象，所述方法包括以下步骤：

获取用户发送的单模态和/或多模态交互指令；

调用语义理解能力、情感识别能力、视觉能力和认知能力的接口，以生成各个模态的应答数据，所述各个模态的应答数据与预设的角色属性相关，在生成所述应答数据时需要调用虚拟机器人的角色参数以及性格参数，所述视觉能力针对用户的表情以及肢体动作信息进行处理，所述认知能力接收用户及周围环境信息的处理；

将各模态的应答数据融合生成多模态输出数据，其中，将语音应答数据进行语音切分生成语音切分数据，

将所述语音切分数据与嘴型应答数据融合作为所述多模态输出数据，或

将所述语音切分数据、所述嘴型应答数据以及表情应答数据融合作为所述多模态输出数据，或

将所述语音切分数据、所述嘴型应答数据、所述表情应答数据以及肢体动作应答数据融合作为所述多模态输出数据；

通过所构建的虚拟机器人形象输出所述多模态输出数据，虚拟机器人通过降低语调以及升高语调的方式来表达虚拟机器人当时的情绪，具备与语言对应的嘴型数据，在汉语拼音中，声母、单韵母、复韵母、整体认读音节都具备与之一一对应的嘴型数据。

2.如权利要求1所述的多模态虚拟机器人的多模态交互方法，其特征在于，虚拟机器人以如下方式的任一且不限于如下方式进行多模态交互：

系统服务、平台功能、应用中功能模块、应用(APP)、主题、屏显。

3.如权利要求1所述的多模态虚拟机器人的多模态交互方法，其特征在于，所述角色属性包括性格属性。

4.如权利要求1所述的多模态虚拟机器人的多模态交互方法，其特征在于，所述目标硬件设备的预设显示区域包括：PC屏、投影仪、电视机、全息投影、多媒体显示屏、VR或AR。

5.如权利要求1所述的多模态虚拟机器人的多模态交互方法，其特征在于，所述虚拟机器人的形象为3D高模动画形象。

6.如权利要求1所述的多模态虚拟机器人的多模态交互方法，其特征在于，所述方法还包括，在所述目标硬件设备的交互界面上输出所述多模态输出数据对应的文本信息。

7.一种多模态虚拟机器人的多模态交互装置，其特征在于，所述虚拟机器人的形象在所述装置的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，所述虚拟机器人包括3D高模动画的虚拟机器人形象，所述装置包括：

获取单元，其用于获取用户发送的单模态和/或多模态交互指令；

处理单元，其用于调用语义理解能力、情感识别能力、视觉能力和认知能力的接口，以生成各个模态的应答数据，所述各个模态的应答数据与预设的角色属性相关，在生成所述应答数据时需要调用虚拟机器人的角色参数以及性格参数，所述视觉能力针对用户的表情以及肢体动作信息进行处理，所述认知能力接收用户及周围环境信息的处理；

融合单元，其用于将各模态的应答数据融合生成多模态输出数据，其中，所述融合单元包括：

语音切分子单元，其用于将语音应答数据进行语音切分生成语音切分数据；

嘴型融合子单元，其用以将所述语音切分数据与嘴型应答数据进行融合输出；

嘴型及表情融合子单元，其用以将所述语音切分数据、所述嘴型应答数据以及表情应答数据融合；

嘴型表情肢体融合子单元，其用以将所述语音切分数据、所述嘴型应答数据、所述表情应答数据以及肢体动作应答数据融合；

输出单元，其用于通过所构建的虚拟机器人形象输出所述多模态输出数据，虚拟机器人通过降低语调以及升高语调的方式来表达虚拟机器人当时的情绪，具备与语言对应的嘴型数据，在汉语拼音中，声母、单韵母、复韵母、整体认读音节都具备与之一一对应的嘴型数据。