[发明专利]一种基于虚拟人的手势交互方法及系统

权利要求书

1.一种基于虚拟人的手势交互方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：

通过所述虚拟人输出多模态数据；

接收用户根据所述多模态数据输入的多模态交互数据；

解析所述多模态交互数据，其中，所述多模态交互数据包括通过视觉能力检测并提取的嘘声打断手势的图像；

当所述嘘声打断手势满足第一预设条件时，确定该手势指示嘘声打断意图；

所述虚拟人响应所述嘘声打断意图，停止输出多模态数据。

2.根据所述权利要求1所述的方法，其特征在于，解析所述多模态交互数据之后，还包括：

当所述嘘声打断手势满足第二预设条件时，确定该手势指示暂停意图；

所述虚拟人响应所述暂停意图，中止输出多模态数据。

3.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括所述嘘声打断手势与预设嘘声打断手势特征相匹配、所述嘘声打断手势与预设位置的关系相匹配以及所述嘘声打断手势位于预设位置的持续时长大于等于第一阈值。

4.根据所述权利要求2所述的方法，其特征在于，

所述第二预设条件包括所述嘘声打断手势与预设嘘声打断手势特征相匹配、所述嘘声打断手势与预设位置的关系相匹配以及所述嘘声打断手势位于预设位置的持续时长小于第一阈值且大于等于第二阈值。

5.根据权利要求3或4任意一项所述的方法，其特征在于，所述嘘声打断手势的特征包括：

实时采集的手部轮廓、各手指轮廓和手指节点；

根据所述手部轮廓、所述手指轮廓和所述手指节点确定所述嘘声打断手势，其中，所述手指节点包括手指关节关键点和手指指尖。

6.根据权利要求5所述的方法，其特征在于，所述预设位置包括：

食指指尖自上嘴唇上移至食指指根到下嘴唇的移动轨迹内的区域；或者

食指指尖到食指指根的任一位置以嘴唇中间为中点，向两侧偏移1厘米之内的移动轨迹内的区域，所述嘴唇中间为以两个嘴角为基点的中间位置。

7.根据权利要求1所述的方法，其特征在于，所述虚拟人响应所述嘘声打断意图，停止输出多模态数据之后，还包括：

匹配所述虚拟人的肢体、情感和/或表情输出。

8.一种基于虚拟人的手势交互系统，其特征在于，包括智能设备和云端服务器，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，其中：

所述智能设备用于，

通过所述虚拟人输出多模态数据；

接收用户根据所述多模态数据输入的多模态交互数据；

所述云端服务器用于，

解析所述多模态交互数据，其中，所述多模态交互数据包括通过视觉能力检测并提取的嘘声打断手势的图像；

当所述嘘声打断手势满足第一预设条件时，确定该手势指示嘘声打断意图；

所述智能设备还配置为呈现所述虚拟人响应所述嘘声打断意图，停止输出多模态数据。

9.一种虚拟人，其特征在于，所述虚拟人在智能设备运行，所述虚拟人执行权利要求1-7任意一项所述方法的步骤。

10.一种智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

通过所述虚拟人输出多模态数据；

接收用户根据所述多模态数据输入的多模态交互数据；

解析所述多模态交互数据，其中，所述多模态交互数据包括通过视觉能力检测并提取的嘘声打断手势的图像；

当所述嘘声打断手势满足第一预设条件时，确定该手势指示嘘声打断意图；

该智能设备中所运行的所述虚拟人响应所述嘘声打断意图，停止输出多模态数据。

11.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。