[发明专利]一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法

说明书

本发明公开了一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，属于多人协同手势控制采煤仿真控制技术领域。本发明在导入采煤设备与场景的三维虚拟场景的基础上，设计采煤设备的控制手势，利用LeapMotion传感器实时获取手势数据，并进行手势识别，实现单人手势操控采煤仿真控制；采用C/S模式，并利用RPC协议和状态同步策略，实现多用户多终端联机协同手势仿真控制采煤设备的协同运作。本发明应用于采煤设备的手势操控和多人网络协同操作仿真控制，极大提高了原有采煤生产仿真控制效率，方便用户仿真模拟采煤设备操控，为以后智慧矿山中智能装备的研究提供了技术基础。

技术领域

本发明属于多人协同手势控制采煤仿真控制技术领域，具体涉及一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法。

背景技术

采煤工作因在地下作业，具有作业空间狭小、视觉环境差、机械设备多等特点，安全事故频发。虚拟现实技术借助计算机等辅助设备载体生产逼真的三维画面，创建虚拟三维场景来模拟真实场景供用户体验与交互。随着虚拟现实技术的发展，更多的运用到煤矿开采行业，为智慧矿山的研究提供了技术基础。然而,现在采煤仿真控制系统只局限于单人简单操控，缺乏手势操控的自然化、人性化，也不能满足多人协同控制，不符合实际的工作情况。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，采用Hands.Count、FingerType、FingerCount函数完成手势识别，采用InitializeServer、TextField函数创建服务器端Server、客户端Client并实现互连，采用Instantiate、Spawn函数实现虚拟场景的网络化同步，采用SpawnWithClientAuthority、OnStartAuthority、CmdMoveShearer函数实现协同手势控制采煤设备，采用Serialize、Deserialize、isWriting函数实现序列化反序列化，采用SceneSyn函数实现同步变量的最新数据自动同步到各客户端，包括以下步骤：

步骤1：基于LeapMotion，设计采煤设备的控制手势并进行识别；

分析各采煤设备功能，设计各自对应的控制手势；分析各手势特征，获取手掌运动追踪数据，通过实时获取手上各点三维坐标数据，完成手势识别；

步骤2：实现单人手势操控采煤仿真控制；

用户单人操作，通过键盘W、A、S、D键控制场景内相机移动实现场景漫游，设计的控制手势为：单手展开左右挥手、上下挥手、食指正反转画圈、数字手势控制采煤机左右行、摇臂升降、滚筒正反转和牵引速度；左手握拳右手展开前后挥动、双手展开上下挥动、双手握拳向前手势控制液压支架收伸护帮板、升降柱和向前牵引；单手握拳前后左右移动、双手握拳上下挥动、左手握拳右手展开上下挥动手势控制铲运机前进倒车左右转、力臂抬放、铲斗上翻下放，实现单人手势操控采煤仿真控制；

步骤3：实现虚拟场景的网络化；

采用C/S模式以及授权服务器方案，在同一局域网中通过IP地址和端口号匹配完成虚拟场景服务器端与客户端的授权与分配，实现不同客户端与服务端同一场景的实时同步漫游，实现虚拟场景的网络化；

步骤4：实现多人多终端协同手势控制和采煤仿真控制；

多用户在不同客户端连接服务器，通过各客户端的LeapMotion，协同手势控制同一个虚拟场景，实现不同用户分别控制采煤机、液压支架的协同运作完成采煤工作；多台铲运机协同完成运煤工作。