[发明专利]具有稀疏采样超分辨率的近眼显示

说明书

近眼显示系统(100)包括用于显示包括元素图像(122)的阵列和小透镜阵列(124)的近眼光场帧(120)的显示面板(118)，该小透镜阵列(124)将整体光场帧呈现给用户的眼睛(132)。该系统还包括渲染组件(104)，该渲染组件(104)至少部分地基于源图像(202)的稀疏采样来生成元素图像(122)的阵列以减少在元素图像的阵列的每个单独元素图像内包含的图像数据的重叠。近眼显示系统(100)的操作的方法包括基于主体对象的当前视点的稀疏采样来生成形成整体光场帧(120)的元素图像(122)的阵列以减少在该阵列的每个单独元素图像内包含的图像数据的重叠。

背景技术

头戴式显示器(HMD)和其他近眼显示系统可以利用整体光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常，整体光场显示器采用一个或多个显示面板和覆盖一个或多个显示面板的小透镜、针孔或其他光学特征的阵列。渲染系统渲染元素图像阵列，每个元素图像表示来自对应透视或虚拟相机位置的对象或场景的图像或视图。这种整体光场显示器通常表现出分辨率和良视距(eye relief)(即，用户眼睛可以获得全视野的距离)之间的折衷。采用整体光场显示器的传统近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。

附图说明

通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项。

图1是示出根据一些实施例的采用姿势检测和稀疏采样以提供增加的显示分辨率的近眼显示系统的图。

图2是示出近眼显示系统中的传统计算显示器的图。

图3是示出根据一些实施例的用于在图1的近眼显示系统中使用的示例低填充因子显示器的图。

图4是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。

图5是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。

图6是示出根据一些实施例的用于在图1的近眼显示系统中渲染具有增加的分辨率的光场帧的稀疏采样的方法的示例的流程图。

图7是示出根据一些实施例的用于渲染光场帧的示例稀疏采样操作的图。

图8是示出根据一些实施例的光场超分辨率的示例的图。

具体实施方式

图1至图8示出了用于近眼显示系统中的整体光场帧的稀疏采样超分辨率渲染的示例方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器向用户显示影像的整体光场帧，以便向用户提供沉浸式虚拟现实(VR)或增强现实(AR)体验。每个整体光场帧由元素图像的阵列组成，每个元素图像表示来自不同对应视点的对象或场景的视图。小透镜阵列覆盖显示面板并且操作以将元素图像的阵列作为单个自动立体图像呈现给用户。

由于计算显示器的分辨率表现出分辨率和良视距(即，用户的眼睛可以获得全视野的距离)之间的折衷，所以采用整体光场显示器的近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。为了提供改进的分辨率，在至少一个实施例中，本文描述的近眼显示系统利用低填充因子显示器的稀疏采样，以通过去除投影仪阵列元件内的图像数据中的重叠来恢复一些丢失的分辨率。作为示例，每个投影仪阵列元件可以被配置为对源图像的略微不同的子区域进行采样，因此相对于彼此具有唯一图像数据。因此，可以通过低填充因子显示器来获得源图像的稀疏采样，以减少在小透镜投影仪阵列处接收的图像数据的重叠，并且恢复由于近眼系统的观看距离减小而导致的空间分辨率的损失(例如，小于10毫米(mm)对传统光场显示器的10-40mm镜头焦距对传统放大镜显示器的40+mm)。