[发明专利]基于Kinect的皮影戏远程数字表演的体感控制方法

摘要

本发明公开了一种基于Kinect的皮影戏远程数字表演的体感控制方法，该方法首先构建演员的手势信息；再由演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据，通过因特网使远程客户端观赏到皮影戏的表演。本发明能够使演员在kinect摄像头前，通过挥动双手配合肢体运动来操控皮影人物动作，使得皮影戏数字化表演成为了现实。

主权项

1.一种基于Kinect的皮影戏远程数字表演的体感控制方法，其特征在于该方法包括以下步骤：a、将Kinect体感摄像头连接至主机服务器计算机，并将Kinect体感摄像头置于演员正面，演员伸出手臂使得手掌以垂直于地面的角度靠近Kinect体感摄像头，Kinect体感摄像头生成了演员人体各关节位置信息； b、从Kinect体感摄像头的各关节位置信息中读取演员手腕关节的位置坐标，并通过Kinect输出的深度图像检测演员的手势信息，具体包括； ⅰ）从Kinect摄像头输出的深度图像中分割出与手腕所在位置深度相同的子图，并将子图的像素灰度值置为1，图像中其余部分像素灰度值设为0，得到演员手的轮廓二值黑白图像； ⅱ）在演员手轮廓图像中作最大内切圆，定义此内切圆的圆心即为掌心位置所在，定义此内切圆的直径为手掌宽度，定义此时手指个数为0； ⅲ）以掌心位置为圆心作手轮廓的切割圆，此圆半径以手掌宽度的1/2为初始值，不断增大；ⅳ）当某一时刻切割圆与手轮廓图像相交，在形成的长度不等的交线线段中，选择一条交线线段长度大于1/5手掌宽度且小于1/3手掌宽度，认定此交线为某一根手指的切割线段； ⅴ）以此切割线段为界，将手掌轮廓面积分割为两部分：定义面积较大的部分为手掌图像部分，面积较小的部分为手指图像部分，手指个数加一；ⅵ）根据手指图像部分各像素点同掌心位置的距离的大小比较，取得手指图像中距离掌心最远的点，定义此点为指尖，取其位置为此根手指尖的位置；ⅶ）将此手指图像部分从演员手轮廓图像中消除，返回本步骤 ⅲ）继续检测其余手指，直至切割圆的半径增大至手掌宽度的3/2，则停止检测；ⅷ）至此，掌心位置、手指个数、各手指位置全部检测完毕，构成演员的手势信息；c、由Kinect体感摄像头得到演员的人体各关节点位置，通过人体到皮影的映射运算，生成数字皮影人物图片形象数据，具体包括： ⅰ）从Kinect体感摄像头中读取演员各关节节点的三维位置信息；ⅱ）将所有关节节点三维位置信息中的Z轴信息删除，得到演员关节节点的二维位置信息；ⅲ）将各关节节点二维位置形成树状结构，其中臀部关节位置为肩膀关节位置和左右膝盖位置的父节点位置；肩膀关节位置为左右肘关节位置和头关节位置的父节点位置；左肘关节位置为左手腕关节位置的父节点位置；右肘关节位置为右手腕关节位置的父节点位置；左膝盖关节位置为左脚踝关节位置的父节点位置；右膝盖关节位置为右脚踝关节位置的父节点位置；ⅳ）根据树状的层次关系，将子节点位置与父节点位置求差，得到演员人体十块骨骼向量，其十块骨骼分别为：头部关节节点与肩膀关节节点所夹骨骼为头骨骼，肩膀关节节点与臀部关节节点所夹骨骼为躯干骨骼，左右肘关节节点与肩膀关节节点所夹骨骼分别为左右上臂骨骼，左右手腕关节节点与左右肘关节节点所夹骨骼分别为左右下臂骨骼，左右膝盖关节节点与臀部关节节点所夹骨骼分别为左右大腿骨骼，左右脚踝关节节点与左右膝盖关节节点所夹骨骼分别为左右小腿骨骼；ⅴ）定义各骨骼向量与竖直方向的夹角为此骨骼的旋转角θ；ⅵ）将传统皮影戏人物道具拆解，形成十块骨骼，分别是头、躯干、左右上臂、左右下臂、左右大腿及左右小腿骨骼，扫描入计算机，形成十幅数字皮影人物骨骼图片；ⅶ）由演员人体头、躯干、左右上臂、左右大腿六块骨骼的旋转角度信息及数字皮影人物中对应骨骼的长度值，通过以下公式，计算得到数字皮影人物的六个关键轴承点的位置坐标，其六个关键轴承点为：数字皮影人物的肩膀、臀部、左右肘关节及左右膝盖关节位置；其中：child为此块骨骼的末梢节点，father为此块骨骼的上端节点，Lchild→father为数字皮影人物中子节点与父节点所夹骨骼的长度值，θ为演员人体骨骼向量与竖直方向的夹角；ⅷ）将十幅数字皮影人物骨骼图片分别平移至各自骨骼的父节点即关键轴承点位置，分别为：头部平移至肩膀关节处；左上臂平移至肩膀关节处；右上臂平移至肩膀关节处；左下臂平移至左肘关节处；右下臂平移至右肘关节处；躯干平移至臀部关节；左大腿平移至臀部关节处；右大腿平移至臀部关节处；左小腿平移至左膝关节处；右小腿平移至右膝关节处；ⅸ）将平移至各关节处的十幅数字皮影人物骨骼图片分别根据十块演员人体骨骼的旋转角度、以数字皮影人物各骨骼对应的关节处为旋转中心，进行旋转，在主机服务器计算机内生成数字皮影人物图片形象数据；d、演员通过手激活步骤b第ⅷ）步的手势信息控制主机服务器计算机进行皮影戏的表演，利用因特网连接远程客户端计算机，使远程客户端计算机屏幕可观赏到皮影戏的表演。