[发明专利]一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统

摘要

本发明公开了一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，其方法是：从安置于道口的四台深度传感器获取交警手势四维数据源，并提取具有描述性和区分性的交警手势特征，结合交警手势特征字典库识别当前交警手势以及指令朝向，并将当前地理位置坐标、交警手势识别结果、指令所属方向经无线广播一并传输至道口的无人驾驶车，车辆对接收到的信息进行解析提取行驶方向上的相应交警指令，并根据指令进入自动响应状态；系统包括交警手势数据获取装置、交警手势识别装置和无人驾驶车响应装置。本发明识别速度快，不依赖于穿戴式器具，交警指挥自由，不受光照、天气、复杂背景等因素的影响，且具有较好的鲁棒性。

主权项

一种面向无人驾驶车的多维非穿戴式交警手势识别方法，其特征在于该方法包括如下步骤：第一步，获取交警手势数据集选取数名交警员分别执行8种交警手势，利用深度传感器采集交警员正面、背面的8种交警手势动作片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据集及背面数据集；第二步，提取局部特征向量(1)空间关节点提取分别从8种交警手势正面数据集及背面数据集动作片段的深度图像中提取交警员空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征；所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手；(2)圆柱坐标系建立采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势对应圆柱包络面半径最大)，确立圆柱坐标系(3)圆柱体网格划分对圆柱体进行网格划分，两个方向上采取均匀划分，z方向进行上下不均匀划分，通过划分完成对网格按顺序作标号处理，每一个关节点都在唯一的区域内，标识出不同交警手势不同片段的空间关节点在圆柱体中所处的位置；(4)获取初始局部特征向量用拉普拉斯分布作为空间关节点在圆柱体三个方向上不同位置分布的概率密度，对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手，在圆柱体中计算每一个空间节点自身所在网格及相邻8块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征向量；(5)初始局部特征向量降维采用基于核密度估计(KernelDensity Estimation,KDE)的特征选择算法对上述初始局部特征向量进行特征降维，得到局部特征向量；(6)重复本步(4)、(5)，分别得到8种交警手势正面数据集、背面数据集对应的局部特征向量；第三步，字典学习将第二步(6)的局部特征向量按照稀疏编码的训练过程进行聚类，生成基底向量，构成稀疏字典；第四步，支持向量机SVM分类器训练(1)生成稀疏向量对稀疏字典进行稀疏编码，生成稀疏向量；(2)稀疏向量的最大值合并对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下来，得到交警手势全局特征向量；(3)SVM分类器1训练将所得交警手势正面数据集、背面数据集对应的全局特征向量用作SVM分类器1的训练；(4)SVM分类器2训练将所得交警手势正面数据集对应的全局特征向量用作SVM分类器2的训练；第五步，获取道口待识别交警手势数据集在道口东西南北四个方向安置4台深度传感器，同时获取交警正面、背面、左侧面、右侧面交警手势的动作片段，每个片段包含连续60帧深度图像，分别得到待识别交警手势左侧面、右侧面、正面、背面数据集，并标记四个方向数据集对应的深度传感器；第六步，提取待识别交警手势数据集全局特征向量(1)空间关节点提取从上述待识别交警手势左侧面、右侧面、正面、背面数据集动作片段的深度图像中提取交警空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征；所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手；(2)数据预处理根据交警下半身空间关节点的个数剔除左侧面和右侧面的数据集，余留正面、背面数据集；(3)圆柱坐标系建立采用圆柱体作为交警空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势对应圆柱包络面半径最大)，确立圆柱坐标系(4)圆柱体网格划分对圆柱体进行网格划分，两个方向上采取均匀划分，z方向进行上下不均匀划分，通过划分完成对网格按顺序作标号处理，每一个关节点都能在唯一的区域内，标识出不同交警手势不同片段的空间关节点在圆柱体中所处的位置；(5)获取初始局部特征向量用拉普拉斯分布作为空间关节点在圆柱体三个方向上不同位置分布的概率密度，对于除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手，对于每一个空间关节点，在圆柱体中计算该节点所在网格及相邻8块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征向量；(6)初始局部特征向量降维采用基于核密度估计的特征选择算法对上述初始局部特征向量进行特征降维，得到局部特征向量；(7)重复本步(5)、(6)，分别得到待识别交警手势正面、背面数据集对应的局部特征向量；(8)生成稀疏向量采用稀疏字典对本步(7)待识别交警手势正面数据集、背面数据集对应的局部特征向量进行稀疏编码，生成稀疏向量；(9)稀疏向量的最大值合并对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下来，得到待识别交警手势全局特征向量；第七步，道口交警手势朝向识别将所得道口待识别交警手势正面数据集、背面数据集对应的全局特征向量一起放入SVM分类器1，识别出交警正面数据，并根据该数据所标记的深度传感器所处方向判断当前手势的朝向；第八步，道口交警手势指令识别根据第七步的识别结果，将道口待识别交警手势正面数据集的全局特征向量放入SVM分类器2，做第二次识别得到当前的交警手势；第九步，识别结果传输将当前道口地理位置坐标、交警手势、交警手势朝向一并经无线传输至道口附近的无人驾驶汽车；第十步，无人驾驶汽车接收指令并作出响应(1)解析接收指令无人驾驶汽车根据接收到的数据进行解析，根据解析到的数据判断是否接收错误而应该丢包，如果接收正确，提取与行驶方向相匹配的交警手势指令；(2)根据指令做出响应无人驾驶汽车根据解析到的指令结合收到的道口地理位置坐标进入指令响应状态。