[发明专利]一种基于可靠手势识别的自动售货机交互方法及系统

说明书

本发明公开了一种基于可靠手势识别的自动售货机交互方法和系统，主要包括如下步骤：步骤1，设置不同的手势动作代表售货机不同的控制指令；步骤2，获取手势动作的判定结果，结合当前指令状态将手势识别结果转化为对应的控制指令；步骤3，将控制指令发送给自动售货机控制装置实现无接触式对自动售货机的控制。本发明提出基于图卷积(Graph Convolutional Networks)以及手部轨迹预测的可靠手势识别作为自动售货机的人机交互系统，不但能够解决于当前自动售货机接触式交互带来的安全卫生问题外，还能够极大提高基于语音或者传统的手势识别的算法精度让自动售货机更加智能。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于可靠手势识别的自动售货机交互方法及系统。

背景技术

随着新零售行业的快速崛起，各种基于新零售衍生出来的创新型服务层出不穷。其中比较有代表性的自动售货机正如雨后春笋一般遍及人们生活的各个角落，在给人们提供了生活所需品的同时也极大的便利了人们的生活，改善了人们的生活方式。

当前市面上的自动售货机主要以按键或者可触摸屏的形式在购买者和机器之间建立沟通的桥梁。在当今新冠疫情爆发流行以及人们卫生安全意识不断提升的情况下这样的接触式人机交互方式也展现出了越来越多的缺点。其一、接触式的交互方式导致每个使用自动售货机人员都需要接触相关设备，增加了细菌、病毒等传染源传播的风险。其二、随着人工智能技术和虚拟现实技术的高速发展，人机交互模式必然是从接触式交互朝向非接触的方向发展，从而让用户拥有更加健康、卫生和便捷的交互方式。

当前主流非接触式的交互方式主要分为人体姿态识别交互、语音识别交互以及手势识别交互。自动售货机使用场景大部分是近场景，因此人体姿态识别交互方式不适用于该场景。而语音识别交互的方式在自动售货机的使用上有着的较大的局限性。这是由于自动售货机所处的场景环境复杂多样，极容易在使用过程中受到周围音频的影响导致语音识别的识别率和准确率大大降低，严重影响用户体验。因此在自动售货机上开发出一套可靠的非接触式交互方法和系统具有极大的需求背景以及实际意义。

在非接触式交互系统中手势识别不仅能够满足自动售货机场景的使用要求，同时相较于语音识别而言对环境变化的鲁棒性更强。当前手势识别主要通过手部的外观和光流或者通过手部关键点在指定时间步长的关节坐标来提取特征向量进行建模，然后通过分析其运动模式，识别手部动作。使用外观和光流的手势识别容易受到环境光线的变化影响，而使用手部关键点在在指定时间步长的关节坐标来提取特征向量的方式没有考虑手部各关键点在空间上的运动变化信息，导致手势识别算法能力有限。

发明内容

考虑到手部关键点组成的关节是以图的形式出现的，而不是类似图片那样的二维或者三维像素网格，因此本发明提出基于图卷积(Graph Convolutional Networks)的可靠手势识别作为自动售货机的人机交互系统。不但能够解决于当前自动售货机接触式交互带来的安全卫生问题外，还能够极大提高基于语音或者传统的手势识别的算法精度让自动售货机更加智能。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种基于可靠手势识别的自动售货机交互方法，包括如下步骤：

步骤1，设置不同的手势动作代表售货机不同的控制指令；

步骤2，获取手势动作的判定结果，结合当前指令状态将手势识别结果转化为对应的控制指令；

步骤3，将控制指令发送给自动售货机控制装置实现无接触式对自动售货机的控制。

本发明还公开了一种基于手势识别的自动售货机控制系统，所述系统包括：相互连接的手势识别装置、主控处理器和自动售货机控制装置，其中手势识别装置用于对采集的图片进行手势识别并将识别结果发送至主控处理器，所述手势识别装置包括：图片提取模块、手部动作识别模块以及手部姿态识别模块；主控处理器根据接收到的手势识别结果生成控制指令并发送至自动售货机控制装置；自动售货机控制装置根据具体的指令执行对应的操作实现对自动售货机的控制。