[发明专利]一种智能交互的手势控制方法和装置

说明书

本发明公开了一种智能交互的手势控制方法和装置，S10，手势捕捉：使用者在摄像头前在2‑4s内做出手势，通过摄像头捕捉手势动作；S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入系统中的训练后手势数据，得到手势结果；S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。本发明实现无接触式控制，可进行多人协同操作，具有较强的人机交互性，智能化程度高，可进行个性化手势定制和交互控制功能选择，灵活性好，具有较好的发展前景。

技术领域

本发明属于无接触式手势控制技术领域，特别涉及一种智能交互的手势控制方法和装置。

背景技术

随着科学技术的发展和线上教学的不断普及，在教学领域使用电脑的频率不断提高。学校和社会都致力于科技化教学、便利化教学，教学方式不断升级、便捷化。在教学领域利用电脑进行无接触式手势控制授课，无论在线上、线下都是十分适用，并且学生和教师可实现协同操作，提高教学效率，便利且符合发展需求。

在大部分的会议中，需要使用电脑进行投影，主讲人通过投影电脑中的ppt、pdf、图片、网页、视频等来丰富会议内容。但会议中与会人员参与感较低，多人协同操作的模式可以提高会议的效率，同时无接触式控制可以让主讲人提高便利程度、节省操作时间。

随着深度学习技术的不断发展，图像处理以及数据分析的精度大幅度提高，在应用了合理的神经网络模型和算法类型的情况下，准确识别动态手势动作具备了可能性。并且无接触式控制技术已经有所应用但仍未全面推广，发展前景好。

发明内容

有鉴于此，本发明提供了一种智能交互的手势控制方法，包括以下步骤：

S10，手势捕捉：使用者在摄像头前在2-4s内做出手势，通过摄像头捕捉手势动作；

S20，手势训练：采集不同控制手势，训练个性化手势，增加手势种类和手势数量；

S30，手势识别：通过摄像头实时捕捉收视画面，识别捕捉到手势，对比已录入系统中的训练后手势数据，得到手势结果；

S40，交互控制：识别出的手势通过交互控制得到其对应的控制效果，并实现人机交互控制。

优选地，还包括在手势识别过程中，展示所有手势的识别率、识别效果以及识别是否成功的信息。

优选地，识别效果通过数值、条形图和饼状图表示。

优选地，手势动作与交互控制相互分离，即手势识别与交互控制非固定对应关系。

优选地，手势识别中可由多终端进行识别捕捉，同时进行交互控制。

优选地，所述手势动作包括全手掌的左滑动、右滑动、上滑动、下滑动、向前推进、向后收拢、左翻转、右翻转、五指张开、五指合拢、五指并拢静止、甩手、顺时针旋转画圈和逆时针旋转画圈，以及食指和中指并拢的左滑动、右滑动、上滑动、下滑动、点击、张开和合拢。

优选地，所述交互控制包括对电脑的音量高低调节、图片左右旋转、文件拖动、截图、录屏、关闭、退出、确认、删除、复制粘贴、ppt左右翻页、网页放大缩小、视频前进后退暂停、pdf上滑下滑和word增删改。

优选地，所述手势训练包括以下步骤：

S21，数据采集：将摄像头逐帧捕捉的手势动作运动过程形成对应的手势图片集；

S22，数据分析：对手势图片进行预处理达到标准化；

S23，特征提取：使用2DCNN与3DCNN结合的自定义模型，通过创建连接器，使用3层线性层来连接3DCNN和2DCNN，引入2DCNN提取2D特征，3DCNN沿时间维度学习残差信息；