[发明专利]一种基于嵌入式的红外双目手势控制系统及方法

权利要求书

1.一种基于嵌入式的红外双目手势控制系统，其特征在于：所述系统包括主控制器、红外双目模块、嵌入式数据分析处理器和数据传输器；所述红外双目模块包括双目相机和光源亮度控制器；

所述主控制器调用光源亮度控制器调节红外光源亮度，所述双目相机捕获用户手势数据，并将捕获到的用户手势数据发送给嵌入式数据分析处理器；所述嵌入式数据分析处理器接收到所述数据后，先根据该数据进行人手掌的检测，对于检测到的手掌按照比例进行扩充，扩充区域包含三个手指，再对扩充区域进行指尖的回归分析和指尖的轨迹分析，从而得到手势识别结果，并将识别结果发送给主控制器，所述主控制器将所述识别结果转换成手势控制指令发送给所述数据传输器，所述数据传输器将所述手势控制指令发送给外部设备使用。

2.根据权利要求1所述的系统，其特征在于：所述三个手指为拇指、食指和中指。

3.根据权利要求1所述的系统，其特征在于：所述手势包括手指捏合操作、捏合后的水平运动和捏合后的垂直运动。

4.根据权利要求1所述的系统，其特征在于：所述双目相机的镜头带有红外带通过滤膜。

5.一种基于嵌入式的红外双目手势控制方法，其特征在于：所述方法具体包括以下步骤：

步骤1、主控制器调用光源亮度控制器调节红外光源亮度；

步骤2、双目相机捕获用户手势数据，并将捕获到的用户手势数据发送给嵌入式数据分析处理器；

步骤3、所述嵌入式数据分析处理器接收到所述数据后，先根据该数据进行人手掌的检测，对于检测到的手掌按照比例进行扩充，扩充区域包含三个手指，再对扩充区域进行指尖的回归分析；

步骤4、根据两个相机中指尖校正后的位置计算视差，计算出三个指尖的三维信息；

步骤5、根据三个指尖的空间轨迹信息或者预设的手势模型进行手势识别，给出当前识别的手势，并将识别的手势结果发送给主控制器；

步骤6、所述主控制器将所述识别结果转换成手势控制指令发送给数据传输器；

步骤7、所述数据传输器将所述手势控制指令发送给外部设备使用。

6.根据权利要求5所述的方法，其特征在于：所述人手掌的检测采用深度学习BlazePalm模型，所述BlazePalm模型利用DW Conv的感受野配合1x1卷积核来进行特征提速，并采用了嵌套Single Blaze的方式来增加模型的表达能力。

7.根据权利要求5所述的方法，其特征在于：所述指尖的回归分析利用CenterNet模型，所述CenterNet模型将目标作为一个点即目标BBox的中心点，采用关键点估计来找到中心点；利用CenterNet进行完回归后，直接输出heatmap图，在heatmap图中找到区域极值作为回归点。

8.根据权利要求5所述的方法，其特征在于：在步骤2中需要对双目相机进行双目标定，所述双目标定采用离线标定方式，首先利用双目相机拍摄带有标定物件的视频，然后对视频进行逐帧检测，挑选出合适的标定图片，利用标定软件进行最终的标定，最后将标定参数提供给后续流程进行调用，进行完双目标定后，会得出两个相机的映射矩阵，但是此映射矩阵是从标定后的点到畸变点的映射，在双目标定时给出的是反向映射；根据反映射关系，将校正后的点对应到畸变的点，由于已知畸变点和，需要反求校正后的点和。