[发明专利]具有颜色、亮度和清晰度平衡的高品质全景图的生成方法

说明书

在全景图中的拼接图像上进行彩色、亮度和清晰度平衡，可以补偿图像之间曝光、对齐以及其他差异。生成图像之间重叠区域中Y、U和V值出现次数的直方图。将Y‑值直方图转换为累积密度函数(CDF)，然后再转换为Y颜色转换曲线，再将其平均以生成一个更平滑的平均Y颜色转换曲线。通过这种平均，抑制了由颜色转换引起的噪声和图像细节损失。对于U和V颜色值，使用移动平均直接对直方图柱条进行平均，然后由直方图的移动平均值来生成CDF。对重叠的源图像和目标图像的CDF的U和V，生成颜色转换曲线。使用颜色转换曲线来调整源图像中的所有像素，以执行颜色和亮度平衡。

技术领域

本发明涉及虚拟现实(VR)全景图的生成，更具体地，涉及拼接图像时颜色、亮度和清晰度的平衡。

背景技术

在一个典型的虚拟现实(VR)应用中，要拍摄360度全景图像或视频。用户佩戴特殊护目镜如头戴式显示器(HMD)等，他可以自主选择和改变其视角，以在360度全景空间中获得身临其境的体验。

随着VR照相机技术的进步和相机小型化，各种有趣且有用的应用是可能的。如GoPro相机之类的头盔可以被VR全景相机组替代，以允许在进行各种体育活动如山地自行车、滑雪、跳伞、旅行等时拍摄360度全景图。将VR相机安置在医院手术室里可以允许远程外科医生或医学生使用VR头盔或其他工具进行手术观察和交流。这些应用可能都需要非常准确地呈现虚拟空间。

如何拍摄和生成360度全景视频，那会影响VR体验品质。在使用多个相机时，两个相邻相机图像相交的区域经常有视觉噪声和失真，这会影响用户体验。

图1A-1E显示拼接图像以生成全景图像时的问题。图1A显示现有技术的VR环形相机。环形相机10有环形排列的多个相机12。相机12的这种布置使得能够拍摄360度全景。当相机12是摄像机时，就能拍摄全景视频。Google Jump就是VR环形相机的一个示例。

在图1B，图1A的环形相机是一圈生成高分辨率(HR)图像18的HR相机12，每个HR图像18是全景圆上的一段小弧。HR图像18彼此重叠，其中两个HR图像的细节以某种方式被合并在拼接区域19中。虽然HR图像18的大部分区域是良好的图像品质，但由于HR相机环中两个HR相机之间的视差和其它匹配误差，拼接区域19的图像品质会变差，导致图像噪声。

在图1C，相机12L、12R是图1环形相机10中的两个相邻相机。物体14被相机12L、12R拍摄。但是，由于物体14与相机12L、12R分别具有不同的距离和角度，因此，相机12L、12R在图像框16上的不同位置看到物体14。

在图1D，物体14出现在图像框架16上，作为由相机12L、12R分别看到的两个不同物体14L、14R。图像处理软件可以尝试估计物体14相对于每个相机12L、12R的深度以校正视差误差，但是深度估计可能不够精确且极具挑战性。物体匹配和深度估计会导致图像的非线性变形。如图1E所示，在相邻图像18L、18R拼接的交界处附近，失真会特别明显。测试图案就在图像18L、18R之间交界处失真。交界处的方格都被压扁并变窄了。这种失真是不希望的。

由拼接造成的图像问题可能有各种原因。曝光时间和白平衡可能因图像不同而不同。相机环中的每个相机可能使用不同的焦距。有些透镜可能变脏了，而其他透镜镜头保持干净。

图2显示现有技术全景图像中颜色和亮度的突变。两个图像120、122拼接起来以形成全景图像的一部分。图像120、122之间重叠区域110中的物体对齐得良好，但图像120、122之间的白平衡没有很好地匹配。特别地，图像120的天空明显比图像122的天空更暗。也许图像122中的直射阳光导致相机拍摄图像122使用了比相机拍摄图像120更短的曝光持续时间。也许由于图像122包括阳光而图像120却没有，所以要调整图像122中的白平衡以获得比图像120更亮的阳光。无论原因如何，当用户从图像120转到图像122时，这种白平衡不匹配会导致：图像120中黑暗天空，在重叠区域110中天空突然增亮的明显变化。