[发明专利]一种基于区域优化策略的手势误识降低方法

权利要求书

1.一种基于区域优化策略的手势误识降低方法，其特征在于，在实车内设置手势响应区域，与车载摄像头对应的有效摄像区域范围对应；通过响应区域的手势识别将输入事件输出到相应的应用接口进行功能响应；所述手势响应区域为动态手势区域。

2.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，所述动态手势区域为车辆中控位及后排中间的位置；通过车载摄像头的位置设置，采集手势响应区域内的动态手势。

3.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，所述动态手势包含根据手势定义做的正样本数据，以及根据用户场景考虑的接近手势定义，并建立动态手势识别模型。

4.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，对采集的动态手势数据进行数据清洗及数据预处理。

5.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，所述对动态手势分为左滑、右滑和ignore三个类别的分类识别。

6.根据权利要求3所述基于区域优化策略的手势误识降低方法，其特征在于，将动态手势识别模型输出的手势动作的前N帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势。

7.根据权利要求3所述基于区域优化策略的手势误识降低方法，其特征在于，所述动态手势识别模型输入包含同一个Track ID n帧的21个手部关键点位置和置信度信息。

8.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，包括如下误识降低流程：

1)数据采集：在实车内，通过车载摄像头采集手势响应区域内的动态手势；

2)手部检测：将采集到的动态手势数据通过手部检测模块，获取图像中手势区域的位置，左上角(x1,y1),右下角(x2，y2)和手部框置信度；

3)手部跟踪：对图像中的手部区域进行追踪并给予track ID，确保动作执行者的手势能够被正确识别；

若已检测到手，根据手部检测阶段检测出的手部图片，输入关键点检测模型，得出手部关键点的位置和置信度；

动态手势识别模型基于卷积神经网络，将手部跟踪模型和关键点检测模型处理好的数据输入到模型进行多次迭代训练和模型参数，训练好的动态手势分类模型能有效学习不同类别图像特征并进行识别；其中，动态手势识别模型主要包含同一个Track ID n帧的21个手部关键点位置和置信度信息；

4)连续帧识别：如果连续N(4)帧都是同一动作，且置信度均大于Score_limit(0.9)，则确认此动作；其中此处的N和Score_limit均为阈值，可参数化，需要经过实验调整至合适值；

5)区域优化限制策略：动态手势识别模型输出的手势动作的前N帧，至少有一帧手部所有关键点落在响应区域内，则判断该手势为有效手势；否则，此手势为无效手势；

6)车机应用事件响应：将事件输出到相应的应用接口应用对输入事件进行功能响应。

9.根据权利要求1所述基于区域优化策略的手势误识降低方法，其特征在于，为了降低因手部检测对分类准确率的影响，将手势框向外扩大0.5倍，外扩方法如下：

x1′＝max(0，x1-(x2-x1)*0.5)，y1′＝max(0，y1-(y2-y1)*0.5)，

x2′＝min(w，x2-(x2-x1)*0.5)，y2′＝min(h，y2+(y2-y1)*0.5)；

其中，w和h分别为图片分辨率的宽和高，x1和y1是手势区域框左上角的坐标位置，x2和y2是右下角的坐标位置；

根据外扩后的区域位置，将手势图片单独裁剪下来保存，并形成训练集、验证集和测试集。