[发明专利]一种智能交互的手势控制方法和装置

权利要求书

1.一种智能交互的手势控制方法，其特征在于，包括以下步骤：

S10，手势捕捉：使用者在摄像头前在2-4s内做出手势，通过摄像头捕捉手势动作；

S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；

S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入系统中的训练后手势数据，得到手势结果；

S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。

2.根据权利要求1所述的智能交互的手势控制方法，其特征在于，还包括在手势识别过程中，展示所有手势的识别率、识别效果以及识别是否成功的信息。

3.根据权利要求1所述的智能交互的手势控制方法，其特征在于，识别效果通过数值、条形图和饼状图表示。

4.根据权利要求1所述的智能交互的手势控制方法，其特征在于，手势动作与交互控制相互分离，即手势识别与交互控制非固定对应关系。

5.根据权利要求1所述的智能交互的手势控制方法，其特征在于，手势识别中可由多终端进行识别捕捉，同时进行交互控制。

6.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述手势动作包括全手掌的左滑动、右滑动、上滑动、下滑动、向前推进、向后收拢、左翻转、右翻转、五指张开、五指合拢、五指并拢静止、甩手、顺时针旋转画圈和逆时针旋转画圈，以及食指和中指并拢的左滑动、右滑动、上滑动、下滑动、点击、张开和合拢。

7.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述交互控制包括对电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改。

8.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述手势训练包括以下步骤：

S21，数据采集：将摄像头逐帧捕捉的手势动作运动过程形成对应的手势图片集；

S22，数据分析：对手势图片进行预处理达到标准化；

S23，特征提取：使用2DCNN与3DCNN结合的自定义模型，通过创建连接器，使用3层线性层来连接3DCNN和2DCNN，引入2DCNN提取2D特征，3DCNN沿时间维度学习残差信息；

S24，模型训练：使用添加动量的随机梯度下降算法和交叉熵损失函数，并对图片进行组归一化处理，得到最终的手势训练结果，并将数据录入系统中。

9.根据权利要求1所述的智能交互的手势控制方法，其特征在于，所述交互控制包括模拟鼠标和键盘的操作来对应用进行控制。

10.一种智能交互的手势控制装置，其特征在于，该装置实现权利要求1-9之一所述的方法，包括控制面板和与控制面板分别连接的可触电子显示屏、摄像头、指示灯和连接接口，其中，可触电子显示屏显示手势识别率、手势是否有效以及手势个性化操作和功能选择；摄像头用于捕捉操作者的手势；控制面板控制电源开关、功能选择模式、个性化定制、查看识别率、开启播报功能和调整摄像头模式；指示灯显示手势识别是否成功、手势交互控制结果、个性化和功能选择操作与识别控制功能模式切换；连接接口包括USB接口和HDMI接口，USB接口用于连接笔记本或台式电脑，HDMI接口用于连接投影仪。