[发明专利]一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统

说明书

技术领域

本发明涉及虚拟现实技术，特别涉及将沉浸式输入和输出设备利用到矿山生产与安全等培训，属于虚拟现实设备的技术开发与应用领域。

背景技术

矿山行业是一个高危行业，因此矿山从业人员在入职前的培训是必不可少的，对此国家还出台了相关法律法规进行严格规定，例如《中华人民共和国安全生产法》、《安全生产培训管理办法》、《特种作业人员安全技术培训考核管理规定》中关于矿山的部分，以及《煤矿安全培训规定》等。目前矿山培训的主要方法是具有资质的人员课堂讲授，培训后需通过考核，另外在矿井也必须有例行培训。但是课堂传授的效果并不理想，而现场培训效果虽好，但是存在成本高、严重影响生产等问题，因此执行情况也不理想。在这种情况下，寻找一种培训效果好、同时对矿井生产没有太大影响的方法就变得十分有必要。

虚拟现实技术是通过计算机图形技术构建(基于真实世界的)虚拟场景，利用输入设备实现用户与虚拟场景交互，再利用输出设备让用户通过视觉、听觉、触觉，甚至味觉和嗅觉等感官，获得接近甚至超越真实世界体验的技术，该技术包括三个特征：沉浸、想象、交互。一套完整的虚拟现实系统包含5个组成部分：虚拟现实引擎、输入/输出设备、软件&数据库、用户和任务，其中输入/输出设备是决定虚拟现实培训系统沉浸感和交互体验最关键的部分。由于虚拟现实技术能够让人体验接近真实的虚拟世界，因此有着广泛的用途，其中最主要的应用类型就是涉及各种危险场景的训练或培训，因为使用者不需要暴露在危险的真实场景中，大大降低了受到伤害的可能性，例如军事领域、医疗领域、飞机或各种飞行器驾驶训练、危险设备远程遥控操作等等。

矿山行业是典型的高危险性行业，需要大量的培训来保证从业人员的安全。在这些培训中，诸如灾害逃生、应急救援等培训，难以在现实环境中进行，这时就可以利用虚拟现实技术来实现这些培训。目前已有的绝大多数的矿山虚拟现实培训系统，在决定虚拟现实系统沉浸感与交互体验的输入/输出设备方面，仍十分落后：输入设备主要是鼠标、键盘，视觉输出设备主要是桌面式显示器，能够获得的沉浸感非常有限，人机交互过程很不自然，因此这些现有的矿用虚拟现实培训系统的实用性很低。也有少数国外的矿山培训系统采用了具有一定沉浸感的显示设备，例如球幕投影、环幕投影等，且输入设备除了键盘鼠标之外，有些系统还应用了操纵杆、触摸屏、定制操作台等，这都是为了增加系统使用过程中的沉浸感，并实现更加自然的交互方式，但是由于投影仪等设备仅能够在一定区域内使用，因此这些系统仅适合于设备操作培训等应用，很难进行需要人员走动的培训类型。

发明内容

为了解决上述已有系统的问题，提高矿山虚拟现实培训系统的实用性，本发明公开了一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，受训者可以完全沉浸在虚拟场景中，并通过手势、走、跑等自然的方式与虚拟培训场景进行人机交互，进而完成预设培训项目。相比传统培训方法，本发明提出的培训系统能够使受训者在任何地方沉浸在接近真实的虚拟矿井环境中，获得与现场相同的培训体验，并最终取得媲美现场培训的效果。

该系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成，其中：头戴式显示器可以提供完全的视觉沉浸体验，全向跑步机、动作捕捉设备可以将受训者在现实中的动作映射在虚拟场景中的虚拟对象上，通过自然的交互方式对系统进行操作。

本发明是一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统，本系统由头戴式显示器等输出设备、全向跑步机、动作捕捉等输出设备、计算机和配套培训软件组成。其中：

头戴式显示器是该系统的视觉输出设备，由外壳、显示屏、凸透镜等部分构成，外壳能够将受训者的眼睛完全遮挡，显示屏显示虚拟培训场景，凸透镜位于显示屏和受训者眼睛之间，这三者配合的结果是受训者能够将真实世界完全视觉隔离，仅看到显示屏中的虚拟场景，并获得沉浸式视觉体验。

全向跑步机是的一个输入设备，其与地面是固定的，受训者在上面可以朝任意方向移动，全向跑步机能够将受训者的移动方向、速度等信息输入培训系统，同时将受训者移到原位置。

动作捕捉设备也属于输入设备，能够捕捉受训者身体某些部位的动作，包括但不限于手、四肢、驱赶、头部、眼睛等，实现方式包括但不限于超声波、红外线摄像头、RGB摄像头、陀螺仪、加速度传感器、磁力计、光学捕捉等方式。