[发明专利]一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法

摘要

本发明公开了一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，属于多人协同手势控制采煤仿真控制技术领域。本发明在导入采煤设备与场景的三维虚拟场景的基础上，设计采煤设备的控制手势，利用LeapMotion传感器实时获取手势数据，并进行手势识别，实现单人手势操控采煤仿真控制；采用C/S模式，并利用RPC协议和状态同步策略，实现多用户多终端联机协同手势仿真控制采煤设备的协同运作。本发明应用于采煤设备的手势操控和多人网络协同操作仿真控制，极大提高了原有采煤生产仿真控制效率，方便用户仿真模拟采煤设备操控，为以后智慧矿山中智能装备的研究提供了技术基础。

主权项

1.一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法，其特征在于：采用Hands.Count、FingerType、FingerCount函数完成手势识别，采用InitializeServer、TextField函数创建服务器端Server、客户端Client并实现互连，采用Instantiate、Spawn函数实现虚拟场景的网络化同步，采用SpawnWithClientAuthority、OnStartAuthority、CmdMoveShearer函数实现协同手势控制采煤设备，采用Serialize、Deserialize、isWriting函数实现序列化反序列化，采用SceneSyn函数实现同步变量的最新数据自动同步到各客户端，包括以下步骤：步骤1：基于LeapMotion，设计采煤设备的控制手势并进行识别；分析各采煤设备功能，设计各自对应的控制手势；分析各手势特征，获取手掌运动追踪数据，通过实时获取手上各点三维坐标数据，完成手势识别；步骤2：实现单人手势操控采煤仿真控制；用户单人操作，通过键盘W、A、S、D键控制场景内相机移动实现场景漫游，设计的控制手势为：单手展开左右挥手、上下挥手、食指正反转画圈、数字手势控制采煤机左右行、摇臂升降、滚筒正反转和牵引速度；左手握拳右手展开前后挥动、双手展开上下挥动、双手握拳向前手势控制液压支架收伸护帮板、升降柱和向前牵引；单手握拳前后左右移动、双手握拳上下挥动、左手握拳右手展开上下挥动手势控制铲运机前进倒车左右转、力臂抬放、铲斗上翻下放，实现单人手势操控采煤仿真控制；步骤3：实现虚拟场景的网络化；采用C/S模式以及授权服务器方案，在同一局域网中通过IP地址和端口号匹配完成虚拟场景服务器端与客户端的授权与分配，实现不同客户端与服务端同一场景的实时同步漫游，实现虚拟场景的网络化；步骤4：实现多人多终端协同手势控制和采煤仿真控制；多用户在不同客户端连接服务器，通过各客户端的LeapMotion，协同手势控制同一个虚拟场景，实现不同用户分别控制采煤机、液压支架的协同运作完成采煤工作；多台铲运机协同完成运煤工作。