[发明专利]应用于移动端虚拟/增强现实的远程扩展渲染系统

说明书

本发明公开了一种应用于移动端虚拟/增强现实的远程扩展渲染系统，移动端的交互模块采集头盔的头部和手柄姿态数据，发送给PC端；渲染模块获取PC端的渲染帧，进行解码，然后渲染到屏幕上；PC端网络模块接收移动端头盔的交互数据，传输给渲染SDK；渲染SDK内嵌在PC应用中，接收头盔发来的交互数据，作用到虚拟相机使其渲染出头盔对应姿态的画面，按照头盔的姿态进行渲染，并将渲染画面传输给编码模块；编码模块选择硬件编码器进行低延迟编码，将结果通过网络模块发送给移动端头盔。本发明利用PC端的高性能图形渲染能力，通过无线的方式，传输给移动端进行二次时间帧渲染，既摆脱了有线的束缚，又大幅降低渲染延迟，提升体验。

技术领域

本发明涉及虚拟/增强现实领域，具体是一种应用于移动端虚拟/增强现实的远程扩展渲染系统。

背景技术

虚拟现实和增强现实技术综合利用计算机图形学、光电成像技术、传感技术、计算机仿真、人工智能等多种技术，并借助各种交互设备，旨在为用户提供一个逼真的、具有多重感知的虚拟和现实交互的世界。

近年来由于资本的介入，让虚拟现实和增强现实发展迅猛，有很多人开始进入从事这一技术领域。虚拟现实和增强现实目前主流有两种方案，一种是基于PC为主机眼镜作为配件，一种是基于移动端将眼镜和主控集成到一起。相比之下，移动端虚拟现实技术门槛低，因现在高端智能手机的普及率高，加之移动端的成本和制造难度与电脑端相比微乎其微，给用户带来的体验也是极为方便，用户甚至只需拥有一部智能手机，再简单制作一个VR盒子便能进行VR体验，所以现在移动端的虚拟现实技术普及率远远超于电脑端，并逐年上升。

移动端虚拟现实虽然高，但是用户体验却远远不如电脑端。其最主要的原因在于移动端的硬件性能远远弱于电脑端，即使是移动端的骁龙820或者三星Exynos 8890也完全无法和电脑端的I5 4590与GTX 970的性能相比拟。因此移动端带来的用户体验往往不尽人意，渲染能力有限。而PC端性能强劲，画面呈现体验很好，但是由于有连接线，真实感大大降低。

HTC为了解决有线连接的问题，与intel合作完成了一套无线方案，然而他们技术方向只是为了降低中间连接线换成无线的延迟，仍旧把头盔只是当成一个配件，所有的图形算法计算都在PC上。

发明内容

本发明为解决背景技术中存在的问题(移动端由于渲染能力有限，用户体验不好；PC端因为有线连接，真实感欠缺，无线连接延迟高)，提出了一种应用于移动端虚拟/增强现实的远程扩展渲染系统。

技术方案：

一种应用于移动端虚拟/增强现实的远程扩展渲染系统，其特征在于它包括移动端和PC端，所述移动端包括IMU、头盔、手柄和显示屏，其特征在于：

所述PC端内嵌有渲染SDK，包含硬件编码器和编码模块，PC端接收移动端交互模块发来的交互数据，作用到虚拟相机使其渲染出头盔对应姿态的画面，PC端按照头盔的姿态进行渲染，并将渲染画面传输给编码模块；编码模块选择硬件编码器进行低延迟编码，并将结果通过PC端网络模块发送给移动端头盔；

所述移动端内置移动端渲染模块，移动端渲染模块负责接收PC端发来的帧数据，通过包头信息获取到位姿索引，帧类型和帧长度，通过帧类型和帧长度对随后接收的数据包进行组包操作，最后将完整的帧数据送入解码器进行低延迟硬件解码，解码后的画面与位姿索引一起使用动态时间帧补偿算法进行渲染帧补偿并提交屏幕显示。

具体的，移动端渲染模块流程：

步骤1：开启网络线程接收来自PC端的网络数据包；

步骤2：根据网络协议接收图像帧数据，读取包头信息，包括是否为帧头，帧类型，帧长度，索引等；

步骤3：根据帧类型和帧长度读取后续的数据包；