[发明专利]一种基于卷积神经网络的真3D手势交互方法

权利要求书

1.一种基于卷积神经网络的真3D手势交互方法，其特征在于，采用Leap Motion体感控制器获取手势数据信息，通过捕捉交互过程中手势的图片，并贴上标签，构成一个包含M个训练样本的数据集，其中I_i表示第i张图像，y_i＝{y_i0,y_i1,y_i2,...,y_i(c-1)}为对应的注释，如果样本被标注为C类别，则y_ic＝1,否则为0，给定一幅图像，可以得到一个预测的分量s_i＝{s_i0,s_i1,s_i2,...,s_i(c-1)}，并通过一个softmax函数计算对应的概率向量p_i＝{p_i0,p_i1,p_i2,...,p_i(c-1)}，p_ic＝softmax(s_ic)，采用作为目标的损失函数，对提出的网络模型进行训练，通过不断减小损失函数L的值，对网络参数进行优化，具体的说，利用标记好的手势数据集进行训练，使用Adam优化器进行优化，当误差L达到平稳状态时，表示网络已经训练完成，停止训练，接下来综合Leap Motion计算的概率向量，根据不同的指令定义不同的权重，计算最后得到预测值，通过预测值输出手势的语义，改变3D模型三维仿射坐标，使其实现缩放、平移、旋转交互功能，利用逆光线追迹对交互后的3D图像进行渲染，在渲染的过程中采用空间包围盒技术实现3D模型的实时渲染，最后将渲染好的3D模型通过集成成像3D显示器显示出来，具体步骤如下所示：

步骤一：采用Leap Motion体感控制器获取手势数据信息，通过上述方式获得手势指令预测值，输出手势的语义，并定义五指曲张、手掌平移、食指旋转三种交互手势，通过对3D模型三维仿射坐标进行矩阵变换可实现3D模型的缩放、移动、和旋转；

步骤二：3D模型的实时渲染，渲染模块运用了光线追迹和包围盒技术，计算光线发射平面发出的光线与3D模型表面最近碰撞点的入射辐射度值作为对应单元图像阵列平面像素的颜色值，生成微图像阵列；

步骤三：3D图像的实时显示，将上述步骤中生成的微图像阵列输入到集成成像3D显示器中，可显示出具有立体视觉的真3D图像。