[发明专利]一种在虚拟现实中增加体验者自我元素的装置和方法

说明书

本发明公开了一种在虚拟现实中增加体验者自我元素的装置和方法。通过绿幕搭建虚拟现实的外部体验环境。利用安装在虚拟现实头盔上的鱼眼摄像机对位于绿幕内的体验者进行拍摄，图像处理模块分割出体验者自身图像。分割出来的体验者自身图像一路与生成的虚拟现实场景进行融合，另外一路进入手势识别模块，生成控制信息。这样体验者在虚拟现实画面中不但可以看到虚拟现实场景，而且可以看到自己的身体，四肢，双手，还可通过手势对虚拟现实场景进行操控，大大提升了虚拟现实的场景融入感。

技术领域

本发明涉及虚拟现实领域，具体涉及一种在虚拟现实中增加体验者自我元素的装置和方法，使体验者不但可以看到虚拟现实场景，而且可以在虚拟现实场景中看到自己的身体，自己的四肢和双手，同时这一系统还可以通过对体验者的手势识别，让体验者对虚拟现实场景进行控制。

背景技术

虚拟现实头盔为体验者提供身临其境的虚拟现实场景沉浸式的体验。但是由于虚拟现实头盔封闭性的特点，把体验者的身体同虚拟现实场景割裂开来，即戴上虚拟现实头盔之后，就看不到自己的身体，四肢，特别是最容易也处在视野范围之内的双手，也从视野中消失了，这样从心理上会大大的增加自身与观看场景的分离感，降低了虚拟现实的场景的真实感，减少了虚拟那种身临其境的感觉。同时为了对虚拟现实场景进行操控，虚拟现实头盔通常采用遥控手柄，因为遥控手柄毕竟不是身体的一部分，一旦手柄脱离了手掌，因为视线被限制在虚拟现实头盔之内，再次找到手柄就非常困难了。

为了提高虚拟现实的真实性，设备提供商在虚拟现实的显示系统和信号捕捉系统做了大量的工作，例如提高虚拟现实设备的帧率，提高信号的捕捉速度和响应速度，但是这些都是从外在的设备角度让体验者融入虚拟现实场景之中，没能够让体验者从心理上感觉自己就在场景当中。为了让体验者感觉到自己在虚拟场景当中，就要让体验者在虚拟现实场景中看到自己，看到自己的身体，看到自己的四肢。为了解决遥控手柄的弊端，人们提出了利用手势识别替代遥控手柄，这样就避免了遥控手柄脱离手掌再次寻找的麻烦。但是这些手势识别最大的问题是手部动作都是脱离视线的，这同样也会降低了体验者的临场感。解决这个问题的方法是把体验者手，手臂图像与虚拟现实场景的图像进行融合，形成融合图像，这样既可以对虚拟现实场景进行操控，又可以让体验者通过虚拟现实画面看到自己手部的动作。

发明内容

本发明公开了一种在虚拟现实中增加体验者自我元素的装置和方法。通过绿幕搭建虚拟现实的外部体验环境。利用装在虚拟现实头盔上的鱼眼摄像机拍摄位于绿幕内的体验者自身图像，图像处理模块分割出体验者自身图像。分割出来的体验者自身图像一路与生成的虚拟现实场景进行融合，另外一路进入手势识别模块，生成控制信息。这样体验者在虚拟现实画面中不但可以看到虚拟现实场景，而且可以看到自己的身体，四肢，双手，还可通过手势对虚拟现实场景进行操控。

一种在虚拟现实中增加体验者自我元素的装置和方法，其特征在于：包括以下步骤：

包括绿幕系统和头盔系统：

（1）绿幕系统提供了绿色背景和照明系统，构建演播环境；

（2）头盔系统包括图像捕捉模块，图像处理模块，显示控制模块，陀螺仪，显示器，虚拟现实输入模块；

（3）图像捕捉系模块连接图像处理模块，图像处理模块分为图像分割子模块和图像识别子模块；

（4）图像捕捉模块输出的图像经过图像处理模块的分割子模块分割成前景和背景，并生成前景掩膜；

（5）图像分割子模块分割出的前景图像输入到图像识别子模块进行识别，生成手势控制信号，输入到显示控制模块；

（6）显示控制模块接受来自图像处理模块的手势控制信号与虚拟现实输入模块输入的场景信号，生成当前的虚拟现实场景，接受来自陀螺仪的头部角度信号，根据当前虚拟现实场景生成当前角度的虚拟现实场景图像；