[发明专利]基于虚拟人的视觉交互方法及系统

权利要求书

1.一种基于虚拟人的视觉交互方法，其特征在于，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：

通过所述虚拟人输出多模态数据；

接收用户针对所述多模态数据提供的多模态交互数据；

解析所述多模态交互数据，其中：通过视觉能力检测并提取所述多模态交互数据中的手部框型动作作为交互意图；

通过所述虚拟人按照所述交互意图进行多模态交互输出。

2.如权利要求1所述的基于虚拟人的视觉交互方法，其特征在于，在通过视觉能力检测到所述手部框型动作时，在判断周期内，如果用户的手部动作包含：左手大拇指指腹与右手食指指腹闭合，左手食指指腹与右手大拇指指腹闭合，以上四个手指形成一个封闭的四边形，则识别所述手部动作为手部框型动作。

3.如权利要求1-2中任一项所述的基于虚拟人的视觉交互方法，其特征在于，在通过视觉能力检测并提取所述多模态交互数据中的手部框型动作作为交互意图的步骤中，还包括：

当识别所述手部框型动作在第一识别周期内仅出现了一次，则将所述交互意图识别为拍照意图，则依据该意图开启该智能设备摄像头并启动拍照；

或，

当识别所述手部框型动作在第一识别周期内出现了不止一次，且相邻两次的时间间隔不大于第二预设时间，则将所述交互意图识别为录制意图，则依据该意图开启该智能设备摄像头并启动摄像。

4.如权利要求1-3中任一项所述的基于虚拟人的视觉交互方法，其特征在于，所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据，识别出所述多个用户中的主要用户，并对所述主要用户的手部动作进行检测；

或，

采集当前全部或部分用户的手部动作，按照预设的用户采集比例确定被采集用户的交互意图。

5.如权利要求1-3中任一项所述的基于虚拟人的视觉交互方法，其特征在于，当所述多模态交互数据中包含语音数据或表情数据时，依据所述手部框型动作作为交互意图，以上步骤还包含：

检测并提取所述多模态交互数据中的语音数据或表情数据；

解析所述语音数据或所述表情数据，判断所述语音数据或所述表情数据与所述手部框型动作的意图是否符合；

若符合，则根据解析的结果结合所述手部框型动作作为交互意图；

若不符合，则所述手部框型动作作为交互意图。

6.如权利要求1-5中任一项所述的基于虚拟人的视觉交互方法，其特征在于，通过所述虚拟人按照所述交互意图进行多模态交互输出，包括：通过所述虚拟人按照所述手部框型动作对应的交互意图启动所述智能设备硬件，并展示多模态交互输出，所述多模态交互输出包括：拍照意图和/或录制意图对应的响应结果数据。

7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

8.一种虚拟人，其特征在于，所述虚拟人具备特定的虚拟形象和预设属性，采用如权利要求1-6中任一项所述的方法进行多模态的交互。

9.一种基于虚拟人的视觉交互系统，其特征在于，所述系统包含：

智能设备，其上装载有如权利要求8所述的虚拟人，用于获取多模态交互数据，并具备语音、情感、表情和动作输出的能力；

云端大脑，其用于对所述多模态交互数据进行自然语言理解、视觉识别、认知计算以及情感计算，以决策所述虚拟人输出多模态交互数据。