[发明专利]一种交互式皮影表演系统及操作控制方法

摘要

本发明涉及一种交互式皮影表演系统，包括主客户端和从客户端、分别和主客户端及从客户端连接的主体感检测器和从体感检测器、与主客户端及从客户端相连接的服务器端，服务器端对体感检测器采集的数据进行识别并通过VRPN封装数据，主客户端通过VRPN读取数据并做出响应。本发明还涉及一种交互式皮影表演系统的操作控制方法，将主客户端、从客户端和服务器都接入互联网，服务器端对体感检测器采集到的数据及输入单元输入的控制数据识别，主客户端读取服务器端成功识别的命令数据，从而将各表演者的表演内容在皮影戏表演资源内进行整合，并将整合后的皮影表演内容发送给主客户端显示。本发明能够多人互动表演，易于网络推广，且表演内容丰富。

主权项

一种交互式皮影表演系统及操作控制方法，其特征在于：交互式皮影表演系统包括主客户端，所述主客户端设置有显示单元和输入单元，主客户端一侧的表演者为主表演者；与主客户端连接的主体感检测器，用于采集主表演者的人体骨骼节点数据和/或语音数据；从客户端，从客户端一侧的表演者为从表演者；与从客户端连接的从体感检测器，用于采集从表演者的人体骨骼节点数据和/或语音数据；服务器端，主客户端和从客户端均与服务器端连接，所述服务器端预先保存有皮影人物模型数据包和皮影资源数据包，皮影资源数据包包含皮影戏表演场景文件、背景文件、字幕文件、和背景音乐文件；所述主客户端设置有链接到服务器端内皮影资源数据包的皮影资源脚本，利用该皮影资源脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源；所述主客户端设置有链接到服务器端内皮影人物模型数据包的皮影模型脚本，利用该皮影模型脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；所述服务器端将主体感检测器和/或从体感检测器采集获取的人体骨骼节点数据在选中的皮影资源内进行整合，得到皮影表演内容，整合方法为：在主客户端选中的皮影资源内，服务器端将主体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的主皮影人物模型对应的节点；服务器端将从体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的从皮影人物模型对应的节点；交互式皮影表演系统的操作控制方法包括如下步骤：步骤一、将主客户端和从客户端接入互联网，将服务器端也接入互联网，将主体感检测器连接到主客户端，将从体感检测器连接到从客户端，主体感检测器放置的高度为主表演者的腹部高度处，并正对着主表演者，从体感检测器放置的高度为从表演者的腹部高度处，并正对着从表演者；步骤二、打开主客户端、从客户端和服务器端，启动体感检测器；步骤三、主客户端利用皮影模型脚本根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；步骤四、主客户端利用皮影资源脚本，根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源；步骤五、服务器端使用手势识别方法，对主客户端选择的皮影资源进行反馈，当主客户端要表演的皮影资源选择完毕后，主表演者做出“表演开始”的语音控制命令或“表演开始”的手势控制命令，服务器端将成功识别的“表演开始”的语音控制命令或“表演开始”手势控制命令发送给主客户端和从客户端；步骤六、主表演者和从表演者开始表演，服务器端采集主表演者和从表演者的人体骨骼节点数据和语音数据，并在步骤四选择的皮影资源内进行整合，然后将整合后的皮影表演内容发送给主客户端进行显示；步骤七、待表演结束后，主表演者做出“表演结束”的语音控制命令或“表演结束”的手势控制命令，服务器端将成功识别的“表演结束”的语音控制命令或“表演结束”的手势控制命令发送给主客户端和从客户端；所述步骤五和步骤七中使用到的手势识别方法为单步手势识别方法，包括以下步骤：步骤1、初始化，设置手势动态数组及该手势动态数组中数据的有效长度阈值，设置手势图形的标准大小，设置与所述手势图形标准大小相匹配的手势图形匹配模板；步骤2、定义手势识别有效区，所述手势识别有效区为：以采集到的人体的右肩节点或左肩节点为水平方向的中心、分别向两侧延伸半肩的距离定义为水平方向区域，髋骨节点以上至头顶之间的距离定义为垂直方向区域；步骤3、在所述手势识别有效区内检测手部位置，转步骤4；步骤4、自手进入手势识别有效区开始，到离开手势识别有效区为止，作为一个完整的手势识别事件进行判断，当手进入手势识别有效区后，将手在手势识别有效区的点对应的坐标数据存入手势动态数组，当手离开手势识别有效区时，存入手坐标数据过程结束，将一个完整的手势识别事件中动态数组所保存的手势坐标数据量与预先设置的手势动态数组中数据的有效长度阈值进行比较，如果一个完整的手势识别事件中动态数组所保存的手势坐标数据量超过有效长度阈值，则判断当前存储的坐标数据构成一个手势，触发手势的识别过程，转步骤5，否则清空数组数据，转步骤3；步骤5、根据一个完整的手势识别事件中动态数组所保存的手势坐标数据进行手势图形重组，得出手势图形，找出手势图形的图心，建立手势图形起点和图心连线，并以图心为圆心旋转手势图形，使所述手势图形的起点和图心连接成的连线呈水平状态，旋转方向的选取按照以下规则进行：如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照顺时针方向旋转；如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照逆时针方向旋转；如果手势图形的起始点在图心点右侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照逆时针方向旋转；如果手势图形的起始点在中心点右侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照顺时针方向旋转；步骤6、将旋转后的手势图形缩放成预先设置的标准大小，将旋转后的手势图形与手势图形匹配模板进行对比，得到与手势图形最佳匹配的手势图形匹配模板，从而得到手势识别结果。