[发明专利]自由视点图像生成方法、装置、系统及可读存储介质

说明书

本申请公开了一种自由视点图像生成方法、装置、系统及计算机可读存储介质。其中，方法包括根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型。根据三维虚拟模型格式和用户通过人机交互方式选择的待观测虚拟视点数据生成初始虚拟视点图像；将反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，并响应用户基于反馈信息调整扫描参数后的扫描操作直至接收到用户扫描结束指令，利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。本申请不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于操作。

技术领域

本申请涉及虚拟现实技术领域，特别是涉及一种自由视点图像生成方法、装置、系统及计算机可读存储介质。

背景技术

3D视频可以为用户提供高度沉浸感，FVV(Free Viewpoint Video，自由视点视频)为3D视频的一种扩展，允许用户通过交互方式选择任意角度进行观看，FVV是VR(VirtualReality，虚拟现实)中一种重要的内容呈现形式，可应用于体育直播、远程呈现、网上购物、展览等众多领域。目前VR显示硬件技术形态已经比较稳定，逐渐趋于成熟和普及，但是VR内容的制作及生成仍然需要借助专业设备和复杂的后期处理过程，距离普通用户像手机拍照或录像一样随手可得的VR内容生成方式还有很大差距，实现更简便易得的VR内容生成技术已经成为普及VR应用的关键环节。可以理解的是，传感器只能记录有限固定视点位置的图像，其他任意视点位置的图像需要通过视点综合技术计算得到，也就是自由视点图像生成技术。自由视点图像生成是从有限数量的视点图像中生成任意视点图像的技术，是VR内容生成中的一项重要技术，还可以用于多视图视频压缩等应用场景。在自由视点图像生成方法中，DIBR(Depth Image Based Rendering，基于深度图的渲染)为应用最广的一种，DIBR可以基于2D视频和对应的深度图生成自由视点视频，减少了需要的记录设备数量和数据传输带宽。DIBR方法通常基于几何约束信息实现视点综合，如逐像素的深度图、图像对之间的极限约束等。

但是，DIBR需要对由未知区域产生的空洞的处理，包括被前景遮挡的背景区域、在参考图像中不可见但在目标图像中暴露出来的物体边缘区域。空洞处理一般需要满足的几个条件包括：1)能够符合ground-truth；ground truth为指收集训练集的分类的参数的是否正确的标定参数。主要用于统计模型中验证或推翻某种研究假设，术语也指收集准确客观的数据用于验证的过程。2)当ground-truth无法得到时，要能避免走样或模糊以便看起来自然；3)符合时间一致性以降低相邻帧之间的闪烁。目前已有方法不能同时满足以上几点要求。对于未知区域的恢复，图像修复是一种比较有效的方法，但是当对前景进行采样填补空洞时容易造成“前景膨胀”问题。可见，相关技术中的自由视点图像由于受到上述条件制约生成质量不高，而且制作过程很复杂。

基于此，如何在提升自由视点图像生成质量的同时简单化自由视点图像制作过程，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种自由视点图像生成方法、装置、系统及计算机可读存储介质，不仅可有效提升虚拟现实领域中自由视点图像生成质量，而且自由视点图像制作过程不复杂、简单易于实现。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种自由视点图像生成方法，包括：

根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像；

将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；