[发明专利]一种基于RGBD深度传感器的实时手势分析与评价方法与系统

权利要求书

1.一种基于RGBD深度传感器的实时手掌手势分析与评价方法，其特征在于，包括以下步骤：

步骤1，利用RGBD传感器在一段时间内获取T帧初始图像，所述T帧初始图像中的每一帧初始图像均包括手掌节点、手腕节点和手肘节点，确定T帧初始图像的手掌节点坐标；

包括：

步骤11，从T帧初始图像中任选一帧初始图像作为当前帧初始图像,通过初始手掌节点得到当前帧初始图像中手掌节点P的坐标

其中，M表示区域圆内白色像素点的个数，M为大于等于1的自然数，x_i表示第i个像素点的横坐标，y_i表示第i个像素点的纵坐标，z_i表示第i个像素点到RGBD传感器之间的距离；

所述区域圆为以初始手掌节点P₁为圆心，以初始手掌节点到手腕节点之间的距离为半径的圆；

所述手掌节点坐标P是在以RGBD传感器中心为原点，以水平方向为X轴，竖直方向为Y轴，传感器指向驾驶员方向为Z轴的坐标系下；

步骤12，重复步骤11，直至T帧初始图像中的每一帧初始图像都被作为当前帧初始图像，得到T帧初始图像的手掌节点坐标；

步骤2，根据T帧初始图像的手掌节点坐标，提取T帧初始图像的手掌区域图像，包括：

步骤21，从T帧初始图像中任选一帧初始图像作为当前初始图像，提取该当前初始图像的方法包括：

以当前初始图像的手掌节点为中心，在宽度为W，高度为H的矩形区域内进行手掌像素点搜索，将满足式(2)的手掌像素点放入手掌像素点集合S_k中，即得到当前手掌区域图像；

式(2)中，k＝1,2,...,W×H，k表示搜寻的次数，d_p表示当当前初始图像的手掌节点到RGBD传感器之间的距离，g_i表示第i个像素点，d_i表示矩形区域内第i个像素点到RGBD传感器之间的距离，abs(d_p-d_i)表示当前初始图像的手掌节点与矩形区域内第i个像素点到RGBD传感器之间的距离之差的绝对值，threshold表示阈值，25≤threshold≤35，S_k表示第k次搜索到的手势像素点集合，S_k-1表示第k-1次搜索到的手势像素点集合；

其中(x_w,y_w)和(x_e,y_e)分别表示当前初始图像的手掌节点中手腕节点以及手肘节点的坐标；

步骤22，重复步骤22，直至提取到T帧初始图像的手掌区域图像；

步骤3，对T帧初始图像的手掌区域图像中的每一帧手掌区域图像进行膨胀和腐蚀操作，得到T帧去噪后的手掌区域图像；

步骤4，通过神经网络识别T帧去噪后的手掌区域图像中的手掌区域的手势，并通过式(1)得到识别出的手掌区域的手势的分数P_palm：

式(1)中，为将T帧去噪后的手掌区域图像输入到神经网络中后神经网络第t帧的输出结果，T为去噪后的手掌区域图像的总帧数，round(·)表示取整数。