[发明专利]混合具有重叠视场的第一及第二图像的方法、设备和相机

说明书

本发明提供了用于混合具有重叠视场的第一及第二图像的方法、设备和相机。第一图像和第二图像在混合区域中混合。混合区域的宽度基于在捕获第一图像时使用的第一组相机参数与在捕获第二图像时使用的第二组相机参数之间的相似性来选择，使得宽度随着相似性的增加而减小。

技术领域

本发明涉及图像混合领域。特别地，本发明涉及用于混合具有重叠视场的第一图像和第二图像的方法、设备和相机。

背景技术

如今，通常捕获具有重叠视场的若干图像并将它们拼接在一起，以便生成具有与各个图像的组合视场相对应的视场的全景图像。例如，多传感器相机可用于同时捕获若干图像并将图像拼接在一起以提供全景图像。

图像拼接通常是组合具有重叠视场的多个图像的过程。拼接过程可以分成几个过程阶段。首先，对齐图像，使它们被变换为具有匹配的视点。例如，如果要拼接两个图像，则可以变换其中一个图像以匹配另一个图像的视点。然后，在对齐阶段之后可以是混合阶段，在混合阶段中多个图像的图像数据在图像的重叠中被组合，例如，通过形成图像数据的线性组合。混合的目的是使图像之间的过渡更平滑，以便用户将经拼接的图像体验为单个图像。

拼接过程的混合阶段通常在计算上存在要求，特别是如果待混合的图像之间存在大的重叠。因此存在改进的空间。

发明内容

鉴于上述情况，因此本发明的目的是提供一种混合具有重叠视场的第一图像和第二图像的计算上有效的方式。

根据本发明的第一方面，上述目的通过一种用于混合具有重叠视场的第一图像和第二图像的方法来实现，该方法包括：接收第一图像和在捕获第一图像时使用的第一组相机参数以及第二图像和在捕获第二图像时使用的第二组相机参数，其中第一图像和第二图像具有在第一图像和第二图像的重叠区域中重叠并且在第一图像和第二图像中的每一个图像的非重叠区域中不重叠的视场，并且其中重叠区域具有第一部分和第二部分，第一部分与第一图像的非重叠区域相邻但不与第二图像的非重叠区域相邻，第二部分与第二图像的非重叠区域相邻但不与第一图像的非重叠区域相邻；将混合区域选择为重叠区域中的距第一部分和第二部分之间的边界小于一定距离的那些像素，其中该距离基于第一组相机参数和第二组相机参数之间的相似性来选择，使得该距离随着相似性的增加而减小；以及在混合区域中混合第一图像和第二图像。

所提出的方法依赖于以下认识：当两个重叠图像差异很大时，图像需要在重叠的大部分或整体中混合以实现平滑过渡，而如果两个图像相似，则尽管图像在重叠的较小部分或根本没有部分中混合，也可以实现平滑过渡。通过基于相似性改变图像被混合的重叠部分的尺寸，因此图像仅在需要给出平滑过渡的重叠部分中混合。通过这种方式，混合保持最小并且节省了计算资源。例如，当在重叠区域的较小部分中的混合足以在图像之间提供平滑过渡时，处理能力不耗费于在整个重叠区域中的混合。

进一步认识到，测量图像之间的相似性的计算上有效的方式是比较捕获图像时使用的相机参数。例如，假设窗口在第一图像的视场中，而不在第二图像的视场中，导致图像中的光量不同。图像之间的这种差异可以从相机参数中(例如从增益和快门速度的值)发现。例如，捕获第一图像的图像传感器将感测与捕获第二图像的图像传感器不同的光水平，从而不同地选择相机参数。通过基于相机参数的相似性判断图像之间的相似性而不是评估图像数据本身，可以进一步节省计算资源。例如，比较相机参数仅涉及比较几个给定数字，例如计算一个或几个差异，而基于图像数据评估相似性将总计更多的有关计算，例如评估强度数据的平均值或直方图。

混合第一图像和第二图像通常是指组合第一图像和第二图像的图像数据。

第一图像和第二图像具有重叠视场是指在第一图像和第二图像中存在描绘了场景的相同部分的像素，即重叠区域中的像素。

第一组相机参数与第二组相机参数之间的相似性是指第一组相机参数的值与相应的第二组相机参数的值之间的相似性。例如，可以通过计算这些值之间的差异来测量相似性。