[发明专利]一种基于手势交互的方法及系统

权利要求书

1.一种基于手势交互的方法，其特征在于，包括：

获取用户手部的图像数据和/或视频数据作为第一数据；

获取对所述第一数据进行识别的识别结果；

若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；

若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；

若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。

2.根据权利要求1所述的方法，其特征在于，所述若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互，包括：

根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；

根据所述第一轮廓，获取所述第一轮廓的多个关键点；

获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；

计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。

3.根据权利要求2所述的方法，其特征在于，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，包括：

获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；

计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。

4.根据权利要求1所述的方法，其特征在于，所述引导所述用户以第二交互模式进行交互，包括：

判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；

若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。

5.根据权利要求4所述的方法，其特征在于，所述第二交互模式为第二非接触交互，所述引导所述用户以第二交互模式进行交互，包括：

获取所述用户的第三数据，所述第三数据包括所述用户的双手手势和人脸的图像数据和/或视频数据；

对所述第三数据进行识别，若所述用户的双手手势包含目标双手手势类型，且所述用户的人脸通过识别，则判定所述用户以所述第二交互模式进行交互成功，否则为交互失败。

6.根据权利要求1所述的方法，其特征在于，所述第三交互模式为接触式交互，所述引导所述用户以第三交互模式进行交互，包括：

获取第四数据，所述第四数据为所述用户手部与交互界面进行交互时的图像数据和/或视频数据；

判断所述第四数据是否满足预设条件，若满足则判定所述用户以所述第三交互模式进行交互成功，若不满足则为交互失败。

7.根据权利要求6所述的方法，其特征在于，所述判断所述第四数据是否满足预设条件，包括：

获取所述用户与所述交互界面进行交互时用到的操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹；

若所述操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹均通过识别，则判断所述第四数据满足所述预设条件，否则不满足。

8.根据权利要求1所述的方法，其特征在于，所述第三交互模式还包括密码交互。