[发明专利]一种基于双摄像头深度信息的低成本空间手势控制方法及系统

说明书

本发明提出一种基于双摄像头深度信息的低成本空间手势控制方法及系统，所述系统包括数据采集模块、数据通信模块及中央处理模块；各个模块通过物理介质链接或者多协议通信逻辑链接为纽带，建立起以中央处理模块为核心，数据采集模块、数据通信模块和被控设备为辅助的闭环运行平台，平台运行方式分为以摄像头数据为驱动的正向识别控制功能和以各模块运行信息为驱动的反向平台运行状态监测与调度功能；本发明在实施过程中采用嵌入式硬件平台，相比于飞行时间方案和结构光方案传感器成本和平台成本都大幅度降低。

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于双摄像头深度信息的低成本空间手势控制方法及系统。

背景技术

随着人工智能技术的发展，人们对人机交互的要求越来越高，而手势作为人机交互中重要的方式之一，逐渐成为了近些年的研究热点。手势控制具有操作简单、非接触、高速及实时等优点，但与此同时由于手部关节点多导致的自由度大以及复杂背景也极大的提高了手势识别的难度。

早期的手势识别主要基于单摄像头的静态手势识别，该方法只能识别一些简单背景下的静止手型；后来开始基于连续多帧图像识别动态手势，该方法可以识别一些握拳，捏合等手势。随着深度传感器的诞生，基于深度图像的手势识别方法越来越多，深度传感器主要包括结构光方案、飞行时间(TOF)方案及双摄像头方案，其中结构光方案和飞行时间方案成本较高，而双摄像头方案计算成本较高。

人机交互的丰富性也增加了手势控制的需求，传统的手势控制主要针对一些开关量进行控制，在模拟量方面则鲜有研究，因为模拟量的控制要求手势检测具有较高的准确性和稳定性，而在复杂背景下手势检测难免会产生波动。

上述因素都限制了手势控制方法的实现，要么场景简单要么运行平台性能要求高，而手势识别的目标是方便简单、准确稳定同时成本低。

发明内容

本发明目的是为了解决现有的技术问题，提出了一种基于双摄像头深度信息的低成本空间手势控制方法及系统。

本发明是通过以下技术方案实现的，本发明提出一种基于双摄像头深度信息的低成本空间手势控制方法，具体包括以下步骤：

步骤a：设置双目摄像头的分辨率，并在数据采集模块做好数据同步，所述数据采集模块将采集到的数据发送给中央处理模块；

步骤b：所述中央处理模块解析接收的数据，检测双摄像头数据采集模块是否异常，若异常则清空数据，等待下一帧，若数据正常，将接收到的双摄像头数据传送给手势检测子模块，手势检测子模块输出每个摄像头中各个指尖及掌心的图像坐标，并将所述图像坐标发送给空间坐标计算子模块；

步骤c：所述空间坐标计算子模块将所获得的两幅图像中各个指尖及掌心的图像坐标做立体匹配并计算出空间坐标，并将空间坐标发送给控制手势识别子模块；

步骤d：所述控制手势识别子模块对获取到的空间坐标进行帧计数，基于多帧数据进行手势分析并向被控设备发出控制指令同时接收被控设备返回的运行状态监测信息，若设备运行正常则继续接收数据发出控制指令，若设备异常则进行设备初始化，并显示异常信息。

进一步地，所述手势检测子模块采用基于深度学习的方法进行手势检测，网络架构共53层，损失函数为logistic loss，采用多级预测即增加下采样与上采样特征图尺寸实现多尺度目标检测，在训练数据方面采用真实数据与增强数据相结合的方式进行模型训练，从而增大训练数据量，真实数据为各种复杂背景下手部的图片，通过标注将手部区域圈出，增强数据则为在纯色背景下将单纯的手部区域提取出来，并对手部区域进行合理的光照亮度变化、尺度缩放、拉伸与旋转，并将变换后的手部区域与各种复杂背景进行合成用于模型训练；经过深度学习方法检测出的手部区域为手部的最小外接矩形，在外接矩形中采用基于肤色的方法将手部区域提取出来，从而得到每个摄像头中各个指尖及掌心的图像坐标。