[发明专利]基于时序控制的头戴设备虚实融合渲染系统及方法

说明书

本发明提供了一种基于时序控制的头戴设备虚实融合渲染系统及方法，包括：时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取所述第二位姿信息和所述最近邻应用帧，并生成矫正帧；显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式，以实现低延迟的虚实融合效果。

技术领域

本发明属于增强现实技术领域，具体涉及基于时序控制的头戴设备虚实融合渲染系统及方法。

背景技术

近年来，增强现实技术的用途越来越广泛。增强现实技术是一种实时地计算、观测现实场景的位置及角度时，并加上相应图像、视频、3D模型的技术，其最终可以在屏幕上把虚拟图像套在现实世界中，并使两者进行互动。

传统的增强现实技术中，通常为根据预测时间对渲染场景结合位姿信息进行渲染，从而生成屏幕上的虚拟图像，但是，存在无法精确控制虚拟图像的生成和显示的时间，由于时序控制的精准度无法保障，则会放大生成帧的误差，从而无法令虚拟图像体现低延迟，甚至会令虚拟图像产生抖动感。

并且，在矫正帧的生成过程中，若无法准确控制时序节点，则会引起矫正帧的生成与镜片层图像刷新之间的冲突。一方面会导致延迟量的产生，一方面也可能会导致刷新图像的扭曲与撕裂，影响融合效果。

发明内容

为了克服现有技术的不足，本发明提供基于时序控制的头戴设备虚实融合渲染系统及方法，以解决现有技术中的无法降低与控制虚拟图像的延迟量，以及虚拟图像产生抖动感的问题。

本发明其中一个实施例提供了一种基于时序控制的头戴设备虚实融合渲染系统，包括：

时序控制模块，用于获取软件系统信息、硬件设备信息和垂直信号，并生成第一预测时间和时序控制信息；其中，所述时序控制信息包括第二预测时间和时序控制信号；

渲染模块，用于获取第一位姿信息和应用场景，并生成应用帧序列，其中，所述应用帧序列包括最近邻应用帧；以及用于获取第二位姿信息和所述最近邻应用帧，并时序控制信号生成矫正帧；

显示模块，用于实时观测现实场景，并根据所述时序控制信号显示所述矫正帧，以使所述矫正帧与当前时刻的现实场景融合；

其中，所述时序控制信号用于控制所述矫正帧的生成时间、显示时间和显示方式。

在其中一个实施例中，所述渲染模块包括：

应用帧渲染模块，用于获取应用场景和根据所述第一预测时间获取所述第一位姿信息，生成应用帧；

帧共享缓存池，用于存储所述应用帧，形成所述应用帧序列；

其中，所述应用帧和矫正帧具有时间戳。

在其中一个实施例中，所述渲染模块还包括：

矫正帧渲染模块，用于根据所述第二预测时间获取所述第二位姿信息和所述帧共享缓存池所存储的最近邻应用帧，并根据时序控制信号生成所述矫正帧。

在其中一个实施例中，所述显示模块包括：

屏幕帧缓存区，用于根据所述时序控制信息和所述垂直信号对所述矫正帧执行缓存上屏或直接上屏；

设备显示屏幕，用于根据所述时序控制信号进行显示所述矫正帧。

在其中一个实施例中，所述显示模块还包括：