[发明专利]沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法

说明书

技术领域

本发明涉及三维显示技术邻域，具体地说，涉及一种沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统。这项技术多被用于娱乐，如沉浸式视频游戏。但是虚拟现实技术在其他领域也有十分重要的意义，如医学、军事航天等。

目前市面上主流的虚拟现实设备，如HTC Vive，Oculus Rift等，其视场角均未达到头戴显示器的最佳视场(120°)。因此无法最大限度地提高用户沉浸感。

且如HTC Vive，其用于头部跟踪和姿态检测的设备太过繁杂，而且需要一个较大的空间来支持设备的运作。而大部分移动端的虚拟现实设备，利用陀螺仪实现头部跟踪，无法保证跟踪精度。

发明内容

本发明的目的为提供一种沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法，在实现大视场的同时，可以保证头部跟踪精度，且运作时使用空间不大。

为了实现上述目的，本发明提供的沉浸式虚拟现实头戴显示装置包括头部跟踪与姿态检测系统、头戴显示光学系统、图像分割系统、编码与解码系统以及处理系统；头部跟踪与姿态检测系统用于拍摄人眼外围环境的图像，编码与解码系统将跟踪与姿态检测系统的图像信号解码后传输到处理系统，经处理系统处理后通过编码与解码系统编码后传输到所述图像分割系统，图像分割系统将接收到的图像信息分割成多个显示器图像后通过头戴显示光学系统进行显示。

上述技术方案中，通过头部跟踪与姿态检测系统拍摄外围环境场景图像并获取头部位置及姿态信息，处理系统可以是外接计算机，计算机将外围环境场景图像信息与虚拟视频信息叠加实现现实世界与虚拟世界的结合，同时，计算机根据头部位置及姿态信息的变化调整虚拟视频信息以便于现实中外围环境场景图像更加融合。

具体的方案为头部跟踪与姿态检测系统包括置于人的左右眼位置用于外围场景的实际拍摄的实景摄像单元、用于外围场景的全景拍摄的全景摄像单元以及位置和姿态传感器。

利用全景摄像拍摄得到的环境全景作为基底，在其上叠加利用两个位于左右眼的常规摄像头拍摄得到的外围场景。因为全景摄像单元的拍摄范围较大，但分辨率较低，而常规摄像头的拍摄范围较小，分辨率较高。这样重叠之后的效果就是在一副分辨率较低的大图像中，有一部分区域(即常规摄像头拍摄区域，也即正常眼睛观察区域)比周围的分辨率高。加入分辨率不怎么高的周围环境可以加深用户的临场感。

以上视频叠加过程通过头戴显示装置中的图像分割系统中的FPGA实现。其将分别来自于常规摄像头和全景摄像单元的视频信号合成为一路视频信号并进行编码，通过电缆连接到编码与解码系统进行解码，解码后的视频通过USB3.0端口输入到处理系统进行计算，以实现外围实景的获得，以及头部跟踪和姿态检测。

另一个具体的方案为头戴显示光学系统包括左右对称布置的两套单目光学系统；单目光学系统包括依次设置在人眼前方的透镜组以及放置在透镜组之后的显示器；透镜组包括至少一组菲涅尔透镜，每组菲涅尔透镜由两块刻有菲涅尔透镜锯齿结构的树脂板拼接构成；显示器为两块，分别与对应的树脂板平行；两块树脂板的拼接处的顶点到眼球中心的连线与垂直于眼球的光轴之间的夹角β大于0°。

菲涅尔透镜组用于对显示器放映的图像成放大的虚像，每组菲涅尔透镜由两块刻有菲涅尔透镜锯齿结构的树脂板拼接而成，之所以用拼接的菲涅尔透镜组代替普通的透镜，是为了使左右视场在拼接时更加方便。如果用的是普通的透镜组，由于其外形一般为圆形，在左右两套成像系统拼接时无法做到无缝拼接。而用两块树脂板拼接构成，由于其外形为矩形，两个矩形拼接后不存在缝隙。

设置两块树脂板拼接处的顶点到眼球中心的连线，与垂直于眼球的光轴之间的夹角大于0°，这么做的原因如下：

在单目系统中，如果眼睛恰好看向两块树脂板的拼接处，由于拼接处没有成像作用，因此这个时候人眼看不到显示器放映的图像。而最后完整的双目系统包含了如上两套单目系统，如果不设置这一角度要求，那么当人眼观察无穷远处时，双目都恰好落在两套系统各自的菲涅尔透镜拼接处，此时双目都无法获取来自显示器的图像，因此这一个位置成为了盲区。而设置了这一角度后，由于双目辐辏，当一个眼睛看向菲涅尔透镜的拼接处时，另一只眼睛必然不会看向它的拼接处，故不存在观察盲区。