[发明专利]一种VR与AR分布式协作的综采工作面智能监控系统

权利要求书

1.一种VR与AR分布式协作的综采工作面智能监控系统，其特征在于，包括：综采工作面物理子系统、综采工作面井上VR监控子系统、综采工作面井下AR监控子系统和通用高效可扩展异步网络框架；

其中，所述综采工作面物理子系统包括成套综采装备以及布置在综采装备上的多传感器、嵌入式控制器、执行器；

成套综采装备为综采三机，包括液压支架群、采煤机和刮板输送机；

多传感器用于感知综采装备自身工作状态以及外部工作环境，并获取实时数据；

嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收作为上层控制系统的井上VR监控子系统及井下AR监控子系统发送的控制命令，驱动执行器动作，对多传感器采集的数据进行实时数据处理，以实现数据决策和分析；

综采工作面井上VR监控子系统使用Unity3D开发的VR应用程序，在井上集控中心计算机平台中运行，包括三维可视化虚拟监测模块和UGUI控制模块；

三维可视化虚拟监测模块用于在实时传感数据与AR视觉测量数据融合驱动下，真实反映综采装备的运行状态以及煤层与装备之间相互作用，同时对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；

UGUI控制模块挂载控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；

综采工作面井下AR监控子系统在井下操作人员佩戴的头戴式AR设备中运行，包括AR识别跟踪模块、综采装备位姿视觉测量模块、三维可视化虚实融合监测模块、运行参数监测模块和多模态人机交互控制模块；

AR识别跟踪模块用于基于稀疏匹配与基于AR标识的目标检测方法结合的方式实现综采装备识别跟踪；

综采装备位姿视觉测量模块用于综采装备位姿测量；

三维可视化虚实融合监测模块在AR识别跟踪模块的作用下将综采工作面虚拟场景锚定至真实场景，完成虚实融合的三维可视化监测；

运行参数监测模块用于将综采装备群中各装备的运行状态详细参数可视化，在AR识别跟踪模块的作用下将AR全息参数面板锚定至相对应的综采装备之上，使井下操作人员同时观察局部真实综采装备运行情况以及其运行状态参数；

多模态人机交互控制模块集成人机交互模态，用于驱动综采装备执行器进行动作；

通用高效可扩展异步网络框架是基于完成端口(IOCP)机制的通用TCP/IP客户端及服务器网络框架；

将运行井上VR监控子系统的集控中心计算机平台作为服务器，将运行井下AR监控子系统的多个头戴式AR设备以及综采工作面物理子系统中的其他终端作为客户端，在通用高效可扩展异步网络框架的基础上定义数据模型，以对客户端的异常情况进行监测。

2.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面物理子系统中的多传感器包括用于确定采煤机位姿并反演刮板输送机位姿的惯导系统与行走部轴编码器、用于确定液压支架位姿的行程传感器与倾角传感器；

嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收由井上VR监控子系统UGUI控制模块、井下AR监控子系统多模态人机交互控制模块的上层控制系统发送的控制命令，驱动执行器进行相关动作，对多传感器采集的数据进行实时数据处理，以实现设备的数据决策和分析。

3.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井上VR监控子系统中的三维可视化虚拟监测模块为集成基于UG和Unity3DMesh组件构建的煤层地质及综采装备虚拟模型，在实时传感数据与AR视觉测量数据融合驱动下真实反映综采装备的运行状态以及煤层与装备之间相互作用；三维可视化虚拟监测模块在虚拟场景中集成了基于Unity3D Camera组件的虚拟摄像头，实现对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；

UGUI控制模块为使用Unity3D UGUI人机界面系统构建的虚拟控制面板，其上挂载了由C#语言编写的控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；所述控制操作类型至少包括对采煤机的牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，对液压支架的升降柱、推溜、移架控制操作。