[发明专利]一种手势互动方法及手势互动装置

权利要求书

1.一种手势互动方法，其特征在于，所述方法包括：

获取当前场景图像；

对所述当前场景图像进行手部区域检测；

对从检测到的手部区域提取的子图像进行特征点检测；

利用检测到的特征点生成待匹配二值遮罩图像；

将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配；

根据相匹配的所述参考二值遮罩图像确定所述手部区域所对应的手势。

2.根据权利要求1所述的手势互动方法，其特征在于，所述对所述当前场景图像进行手部区域检测的步骤，包括：

利用基于局部损失函数的单步多框检测模型对所述当前场景图像进行手部区域检测。

3.根据权利要求1所述的手势互动方法，其特征在于，所述对从检测到的手部区域提取的子图像进行特征点检测的步骤，包括：

利用基于FHOG的特征点检测回归模型对所述子图像进行特征点检测。

4.根据权利要求1所述的手势互动方法，其特征在于，所述利用检测到的特征点生成待匹配二值遮罩图像的步骤，包括：

按照预设的顺序对所述特征点进行连线，以形成一闭合区域；

将所述闭合区域内的像素设置成第一像素值，并将所述闭合区域外的像素设置成第二像素值。

5.根据权利要求1所述的手势互动方法，其特征在于，所述将待匹配二值遮罩图像与多个参考二值遮罩图像进行匹配的步骤，包括：

计算所述待匹配二值遮罩图像的胡矩与所述多个参考二值遮罩图像的胡矩之间的差异；

选择所述差异小于预设阈值或所述差异最小的所述参考二值遮罩图像作为所述相匹配的所述参考二值遮罩图像。

6.根据权利要求1所述的手势互动方法，其特征在于，所述方法进一步包括：

根据所述手势从所述手部区域中确定目标手部区域；

将用于所述当前场景图像的图像传感器对焦到所述目标手部区域。

7.根据权利要求6所述的手势互动方法，其特征在于，所述将用于所述当前场景图像的图像传感器对焦到所述目标手部区域的步骤，包括：

计算所述目标手部区域的中心与所述当前场景图像的中心之间的距离；

根据所述距离控制与所述图像传感器连接的第一舵机和第二舵机的航向角和俯仰角，以使得后续拍摄的当前场景图像的中心与所述目标手部区域的中心对齐。

8.根据权利要求6所述的手势互动方法，其特征在于，所述将用于所述当前场景图像的图像传感器对焦到所述目标手部区域的步骤之后，进一步包括：

在后续拍摄的当前场景图像上对所述目标手部区域外围的预定区域内进行人脸检测；

根据检测到的人脸进行互动。

9.根据权利要求8所述的手势互动方法，其特征在于，所述根据检测到的人脸进行互动的步骤，包括：

将检测到的人脸与多个参考人脸进行匹配；

根据相匹配的参考人脸确定学员姓名，并根据所述学员姓名进行语音互动；或者

基于检测到的人脸确定表情属性；

根据所述表情属性进行表情互动。

10.一种手势互动装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-9中任一项所述的手势互动方法。