[发明专利]交互式渲染方法、设备和系统

说明书

本发明公开了一种交互式渲染方法、装置和系统，涉及人机交互领域。其中的方法包括：云端设备接收终端发送的应用信息；云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；云端设备将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。本发明能够有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。

技术领域

本发明涉及人机交互领域，尤其涉及一种交互式渲染方法、装置和系统。

背景技术

随着终端与4G等网络能力的快速发展，云+端相结合的3D交互式应用及其后端的行业云解决方案成为继视频之后的高带宽应用热点。如虚拟营业厅、立体导航、VR(VirtualReality，虚拟现实)/AR (Augmented Reality，增强现实)生活服务、3D会展导览、移动在线游戏等交互式应用快速涌现，在不断带来全新沉浸式体验的同时，也对当前的网络、终端乃至软件等综合解决方案提出了更高要求。

一方面，VR/AR/MR等虚拟现实新技术的快速发展与应用，从客观上较大提升了对软件渲染技术及交互式画面品质的要求；其所涉及的复杂3D场景、实时全局/间接光照(Real-time Global Illumination， RTGI)等下一代高质量3D渲染技术对计算设备处理能力要求极高，移动端因处理能力、存储能力及能耗受限，无法应用上述技术，从而限制了其在当前热点领域的应用及效果呈现。

另一方面，全局光照等新一代高质量实时渲染技术需要更为强大的计算与存储能力，在目前性能、能耗及配置、成本受限的终端上几乎无法高效实现，以云服务的方式来提供类似视觉体验是目前最具现实意义的解决方案。然而为了能够提供此类云服务，目前依然存在着若干关键问题需要解决：

1)需要在尽可能保障高质量渲染效果的同时，尽可能减少其所需的计算存储需求；这二者目标往往是矛盾的，但必须尽可能权衡与兼顾。

2)需要提供更灵活、更优化的光照方案，实现对真实全局照明的快速近似计算，从而实现画面渲染整体效率的提升。

3)需要考虑云端-终端侧计算任务的合理分配与有效协同，进而实现基于终端的3D交互式应用。

发明内容

本发明要解决的一个技术问题是提供一种交互式渲染方法、装置和系统解决了由于性能受限终端面向3D交互式应用场景的处理能力不足问题。

根据本发明一方面，提出一种交互式渲染方法，包括：云端设备接收终端发送的应用信息；云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；云端设备将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。

进一步地，云端设备对场景图像进行全局光照计算包括：云端设备判断场景图像是否已体素化；若场景图像已体素化，则进行全局光照计算；否则，对场景图像进行体素化处理。

进一步地，云端设备对场景图像进行体素化处理包括：云端设备基于球谐波对场景图像进行体素化描述；对当前体素场景图像进行基于球谐波的体素方向性预滤波。

进一步地，云端设备进行全局光照计算包括：云端设备对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪；将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为 N个小分辨率子图像；基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。

进一步地，还包括：云端设备将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流；在视频码流中添加视频同步信息后发送至终端。