[发明专利]一种基于可靠手势识别的自动售货机交互方法及系统

权利要求书

1.一种基于可靠手势识别的自动售货机交互方法，其特征在于，包括如下步骤：

步骤1，设置不同的手势动作代表售货机不同的控制指令；

步骤2，获取手势动作的判定结果，结合当前指令状态将手势识别结果转化为对应的控制指令；

步骤3，将控制指令发送给自动售货机控制装置实现无接触式对自动售货机的控制。

2.一种基于手势识别的自动售货机控制系统，其特征在于，所述系统包括：相互连接的手势识别装置、主控处理器和自动售货机控制装置，其中手势识别装置用于对采集的图片进行手势识别并将识别结果发送至主控处理器，所述手势识别装置包括：图片提取模块、手部动作识别模块以及手部姿态识别模块；主控处理器根据接收到的手势识别结果生成控制指令并发送至自动售货机控制装置；自动售货机控制装置根据具体的指令执行对应的操作实现对自动售货机的控制。

3.如权利要求1所述的一种基于可靠手势识别的自动售货机交互方法，其应用于权利要求2的系统中，其特征在于，手势识别进一步包括：

步骤S1，手部图片样本采集，通过摄像机模组采集图片样本，利用手部检测算法检测当前图片中是否存在手，如果当前采集图片的画面中不存在手，则不进行任何后续算法的操作，当在采集图片中检测到手时，利用手部算法检测结果得到手部图片为后续的手势识别做准备；

步骤S2，手部关键点检测，利用基于深度学习的方法对所述步骤1中得到的手部图片进行手部关键点检测，得到当前手部所有的关键点坐标；

步骤S3，手势识别，使用基于深度学习的卷积神经网络可以对手部处于握拳、五指张开以及其他这三种状态进行分类，以判断当前手部姿态；

步骤S4：手势识别结果转为控制指令，在第三个过程中主控制器得到当前手势识别的结果，然后将当前手势识别结果对应的控制指令传给自动售货机控制系统；

步骤S5：自动售货机控制系统执行命令，自动售货机控制系统接收到主控制器传来的控制指令后，对控制指令进行解析，进行对应控制指令的执行。

4.如权利要求3所述的一种基于可靠手势识别的自动售货机交互方法，其特征在于，所述步骤S3进一步包括：

对于手势动作的识别方法采用基于图卷积(GCN)同时结合手部检测框跟踪的方法进行判断；将帧内的关键点坐标以及帧间的关节连接坐标构建图，用作图卷积网络的输入，图卷积网络的输入可用一个5维矩阵(N,C,T,V,M)描述，其中N代表视频的数量；C代表人手部关节的特征，在手部动作识别中一个关节包含x,y,score三个特征；T代表关键帧的数量；V代表关节的数量；M代表一帧图片中的手的个数；当满足指定的帧数构建好网络的输入后，将输入传给基于图卷积的神经网络最终利用softmax函数对动作进行分类来识别当前手部动作，同时结合手部跟踪算法可得到当前手部在二维图像坐标中的一系列(x,y)坐标，对坐标点进行拟合可判断当前手部运动的轨迹，最终与图卷积的结果进行融合来对最终手部动作进行判定。

5.如权利要求4所述的一种基于可靠手势识别的自动售货机交互方法，其特征在于，对手部运动轨迹的拟合主要过程为：首先计算出第1帧手部中心点的坐标(x₁,y₁),其次在手部运动的过程中不断利用检测以及跟踪算法得到第i帧手部中心点坐标(x_i,y_i)，最后当满足指定的帧数(假设为N)后得到手部中心点坐标集合[(x₁,y₁),(x₂,y₂),...,(x_n,y_n)]，利用最小二乘法进行曲线的拟合来判断当时手势的运动轨迹，最小二乘法模型如下：

其中，和为当前第i帧手部中心点坐标的x/y坐标实际值。为第i帧预拟合曲线x坐标到y坐标的映射函数模型，利用最小二乘法可求解出预拟合曲线映射函数模型的对应参数，确定预拟合曲线从而能够实现对手部运动的轨迹进行判断。

6.如权利要求3一种基于可靠手势识别的自动售货机交互方法，其特征在于，所述步骤1进一步包括：手势动作与控制指令对应关系为：手部五指张开2秒表示开始指令；手部左右移动表示左右翻页指令；手部上下移动表示上下翻页指令；五指张开到握拳表示点击确认指令；手部握拳2秒表示结束指令。