[发明专利]一种基于虚拟人的多模态交互输出方法及系统

权利要求书

1.一种基于虚拟人的多模态交互输出方法，其特征在于，所述虚拟人在智能设备运行，包括：

获取多模态数据，所述多模态数据中至少包含语音数据；

解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；

将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出。

2.根据权利要求1所述的方法，其特征在于，获取多模态数据之前，还包括：

唤醒虚拟人，使所述虚拟人显示在预设的显示区域内。

3.根据权利要求1所述的方法，其特征在于，将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出包括：

根据所述语义数据进行切词，将切词结果与所述虚拟人的嘴型模型进行匹配，以生成嘴部仿生数据并输出；

为所述情感数据设置情感标签；

根据所述情感标签选择对应的面部参量集合，以配合所述嘴型模型的嘴部仿生数据。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述虚拟人的面部参量包括所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色。

5.根据权利要求4所述的方法，其特征在于，所述面部参量集合包括但不限于：

所述面部骨骼与所述面部肌群运动的仿生协同数据；

所述面部骨骼与所述皮肤褶皱运动的仿生协同数据；

所述皮肤褶皱与所述面部肌群运动的仿生协同数据；或者

所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色的仿生协同数据。

6.根据权利要求1所述的方法，其特征在于，所述虚拟人通过3D高模构建生成，具备预设的形象及技能；

所述虚拟人包括运行在所述智能设备上的应用程序、可执行文件或通过所述智能设备投射出的全息影像。

7.根据权利要求6所述的方法，其特征在于，所述智能设备使用的系统包括但不限于WINDOWS系统、MAC OS系统或全息设备内置系统。

8.根据权利要求2所述的方法，其特征在于，所述预设的显示区域包括所述智能设备的显示界面或所述智能设备的投射区域。

9.一种基于虚拟人的多模态交互输出系统，其特征在于，包括智能设备和服务器，所述虚拟人在智能设备运行，其中：

所述智能设备获取多模态数据，所述多模态数据中至少包含语音数据；

所述服务器解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；

所述服务器将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据；

所述智能设备接收所述面部仿生数据并输出。

10.根据权利要求9所述的系统，其特征在于，所述服务器解析所述多模态数据具体实现为：

根据所述语义数据进行切词，将切词结果与所述虚拟人的嘴型模型进行匹配，以生成嘴部仿生数据并输出；

为所述情感数据设置情感标签；

根据所述情感标签选择对应的面部参量集合，以配合所述嘴型模型的嘴部仿生数据。

11.一种虚拟人，其特征在于，所述虚拟人在智能设备运行，所述虚拟人执行权利要求1-8任意一项所述的方法。

12.一种智能设备，其特征在于，所述智能设备上运行权利要求11所述的虚拟人。

13.一种计算机可读存储介质，其特征在于，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任意一项所述方法的步骤。