[发明专利]一种动态手势识别方法

说明书

一种动态手势识别方法，包括，设置启动手势判断阶段，启动手势判定帧介于启动手势判定下限帧数与启动手势判定上限帧数之间时，判断手势已启动。这样在手势识别之前，加入手势运动情况的判断，避免较短时间的手势晃动、较长时间的静态手势被纳入手势识别，提高了识别效率，同时提高识别精度。在一帧图像识别存在误差时，设置忍受冗余过程，逐步降低手势识别忍受度，避免临时一张图像出现模糊、抖动情况下，未通过阈值识别、大小调整等情况，导致整体识别错误的风险。

技术领域

本发明属于汽车智能座舱智能交互技术领域，具体涉及动态手势识别方法。

背景技术

汽车的电动化、网联化、共享化和智能化是当前整个汽车发展的趋势，该趋势将极大的改善当前出行的感官和方式。在汽车不断发展的过程中，针对汽车内部座舱的形态、相关座舱实现的功能、座舱的人机交互模式等的改进，是整车厂在构建智能座舱的关键部分。长期以来，座舱的内部用户交互以机械按键或显示大屏触碰来完成，针对车内的相关控制一般仅由前排主驾控制，针对后排乘客，并无实际可控途径和方式。

隔空手势识别作为人机交互最为自然的方式，是最为简单和直观的车内设备控制的技术，作为一种非接触式的、能够使用户以徒手方式进行操作的技术手段，隔空手势控制能够实时的识别用户的意图。当前隔空手势技术主要包含手势数据感知、手势分割、特征模式构建和手势识别模型构建，根据使用的实际设备，实现手段主要分为计算机视觉、超声波和电磁信号三个类别，而对于车内座舱，综合成本与可靠性等相关因素，手势识别一般将计算机视觉作为可靠的解决方案。

计算机视觉手势根据视觉相机的不同可分为单目彩色RGB相机、单目红外IR相机、双目深度相机、双目红外相机。传统单目彩色相机通过肤色等其他特征构建，进行目标手位置和手型检测，之后根据手型和运动轨迹的构建策略进行识别，该类识别方式对肤色和光照等实际物理环境要求苛刻，因而一般只能针对特定的应用环境。为减少光照等相关因素的影响且适应夜晚等环境，可采用IR红外相机进行手势识别，该方案针对近距离范围有较好的实际效果。获取相关手势之后，后端根据实际情况采用基于手势轨迹和角度的隐马尔可夫模型进行动态隔空手势的模型建模，从而实现手势识别。双目深度相机和双目红外相机，则通过光学信息获取深度空间信息，因此根据实际空间位置关系能较好的进行手势分割，之后进行后续的特征点手势匹配过程，实时获取手的空间运动手型和轨迹，并根据实际的策略或时间序列匹配，进行手势识别。但无论是单目红外IR相机、双目深度相机或双目红外相机对系统的成本均增加较大。

当前，以神经网络为代表的深度学习视觉方案是实现手势识别的标准解决方案之一。不论是二维平面图像或是三位点云空间，通过卷积神经网络能较好的识别手势空间位置，而针对前端获取的手势空间位置，又可分为基于策略的动态匹配与基于手部关键点的端到端识别模式，特别是基于手部关键点的动态手势识别，后端采用基于长短时记忆网络或卷积神经网络的端到端一体化模型训练，能较好的完成手势的各种定义，且由于其端到端的性质，隔离了动态识别策略逻辑的定义，具有很强的操作行。例如公开号为CN111563401A的一种车载手势识别方法、系统、存储介质及电子设备专利，该方案就使用上述模式的卷积神经网络进行三维手势点云分割与空间手势卷积进行手型匹配与静态手势识别。但是，基于关键点识别或三维点云的后端模型前期需要大量的规范数据进行定义，且后续针对实际车机场景需求计算力很高的独立高性能计算(HPC)单元，因此其实际操作困难，迭代周期长，硬件成本高。此外，结合传统图像与深度学习的方案，例如公开号为CN111597888A的高斯混合模型与CNN结合手势识别方法专利，该方法以高斯混合模型提取手部前景部分掩膜区域，通过一些图像形态学的操作来获取手部位置，之后做简单的静态手型识别分类。其问题在于掩膜方式的手位置也难避免传统图像导致的光照等相关影响，此外，该方案后端构造的卷积神经网络模型过重，在座舱车机端的相关硬件设备很难实时运算该卷积神经网络模型。

因此考虑其实际商业应用，以及各车内实际常规布置的RGB摄像头利用，考虑开发一种满足实现隔空手势识别的方法，增加实车用户体验，在一定程度上对副驾和后排等不能进行实际车机按钮控制的用户有极强的便利性。

发明内容