[发明专利]一种基于RGBD深度传感器的实时手势分析与评价方法与系统

摘要

本发明公开了一种基于RGBD深度传感器的实时手势分析与评价的方法与系统，包括火车驾驶员手掌的静态手势识别与评价系统和火车驾驶员手臂的动态手势识别与评价系统，火车驾驶员手掌的静态手势识别与评价系统包括确定手掌掌心位置模块、提取手掌区域图像模块、去噪模块、手势识别及评价模块；火车驾驶员手臂的动态手势识别与评价系统包括手臂骨骼节点运动序列提取模块、动态手势最优匹配模块、手臂动态手势评价模块。本发明对于环境背景、光照具有很强的鲁棒性，而且在手掌手势检测时采用基于掌心节点的手势像素搜索，提高了手掌手势的检测效果；实时监督驾驶员手势以确保火车行驶安全，还可以避免人为的对火车驾驶员手势监控，减轻人力资源消耗。

主权项

一种基于RGBD深度传感器的实时手掌手势分析与评价方法，其特征在于，包括以下步骤：步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；包括：步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌节点得到当前帧初始图像中手掌节点P的坐标其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，xi表示第i个像素点的横坐标，yi表示第i个像素点的纵坐标，zi表示第i个像素点到RGBD传感器之间的距离；所述区域圆为以初始手掌节点P1为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；步骤2，根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像，包括：步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合Sk中，即得到当前手掌区域图像；式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，dp表示当当前初始图像的手掌节点到RGBD传感器之间的距离，gi表示第i个像素点，di表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(dp‑di,j)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，Sk表示第k次搜索到的手势像素点集合，Sk‑1表示第k‑1次搜索到的手势像素点集合；其中(xw,yw)和(xe,ye)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；步骤3，对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；步骤4，通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数Ppalm：式(1)中，为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。