[发明专利]应用于移动端虚拟/增强现实的远程扩展渲染系统

权利要求书

1.一种应用于移动端虚拟/增强现实的远程扩展渲染系统，它包括移动端和PC端，所述移动端包括IMU、头盔、手柄和显示屏，其特征在于：

所述PC端内嵌有渲染SDK，包含硬件编码器和编码模块，PC端接收移动端交互模块发来的交互数据，作用到虚拟相机使其渲染出头盔对应姿态的画面，PC端按照头盔的姿态进行渲染，并将渲染画面传输给编码模块；编码模块选择硬件编码器进行低延迟编码，并将结果通过PC端网络模块发送给移动端头盔；

所述移动端内置移动端渲染模块，移动端渲染模块负责接收PC端发来的帧数据，通过包头信息获取到位姿索引，帧类型和帧长度，通过帧类型和帧长度对随后接收的数据包进行组包操作，最后将完整的帧数据送入解码器进行低延迟硬件解码，解码后的画面与位姿索引一起使用动态时间帧补偿算法进行渲染帧补偿并提交屏幕显示。

2.根据权利要求1所述的系统，其特征在于移动端渲染模块渲染流程包括：

步骤1：开启网络线程接收来自PC端的网络数据包；

步骤2：根据网络协议接收图像帧数据，读取包头信息，包括是否为帧头，帧类型，帧长度，索引等；

步骤3：根据帧类型和帧长度读取后续的数据包；

步骤4：将所有接收到的属于该帧的数据包组合为完整图像帧，进行完整性校验，如果校验通过到步骤5，如果校验没通过，将帧丢弃后回到步骤2；

步骤5：将图像帧输入到硬件解码器中进行解码，通过硬件解码低延迟配置，降低解码时间，解码后获取到可渲染的纹理；

步骤6：从移动端交互模块根据索引值获取对应的位姿数据，将位姿数据和纹理输入到动态时间帧补偿算法中提交最新的姿态补偿画面到屏幕，完成一帧的渲染更新。

3.根据权利要求1所述的系统，其特征在于所述移动端还内置交互模块，移动端交互模块负责采集头盔运行时的头部姿态数据和手柄姿态数据，并将数据进行组装，以固定频率通过无线网络发送到PC端，同时维持map建立索引缓存头部姿态数据。

4.根据权利要求3所述的系统，其特征在于移动端交互模块采集数据流程包括：

步骤1：移动端交互模块开启高优先级线程开始交互数据采集；

步骤2：访问IMU或者6DoF算法模块获取最新的旋转四元数和位移数据；

步骤3：访问外设交互驱动获取手柄旋转四元数和位移数据，按键状态数据，触摸坐标数据以及其他外设交互数据；

步骤4：为这组数据生成交互索引，交互索引保证运行时这组数据的唯一性；

步骤5：将索引数据和头部、外设的位姿等交互数据组装到网络包中，通过网络协议发送给PC端；

步骤6：发送成功后将索引和位姿数据以KEY-VALUE方式缓存到MAP中；

步骤7：判断是否有退出请求，如果是，结束线程，清空MAP，如果否，则进入步骤8；

步骤8：判断当前是否可以开始下一轮更新，如果是，则回到步骤2，否则进入步骤9；

步骤9：线程等待固定时间，回到步骤8。

5.根据权利要求1所述的系统，其特征在于PC端网络模块一方面负责接收移动端头盔的交互数据，将头部位姿数据、手柄姿态数据和索引值，一同提交给渲染SDK；另一方面负责将PC端编码模块的编码后数据加入包头和索引信息，发送给移动端头盔。