[发明专利]多传感器摄像机、用于多传感器摄像机的方法和处理管道

说明书

本公开提供了多传感器摄像机、用于多传感器摄像机的方法和处理管道。提供了一种在包括具有部分重叠视野的第一传感器和第二传感器的多传感器摄像机中执行的方法。第一视频帧和第二视频帧各自具有非重叠部分和重叠部分。通过将来自第一和第二视频帧的非重叠部分的图像数据与仅来自第一视频帧的重叠部分的图像数据结合来生成第一视频流的帧；生成第二视频流的帧以包括来自至少第二视频帧的重叠部分的图像数据。并行处理第一视频流的帧和第二视频流的帧。将重叠添加到第一视频流中的处理后的帧。在准备重叠的步骤和添加重叠的步骤中的至少一个步骤中，将来自第一视频帧的重叠部分的图像数据与来自第二视频帧的重叠部分的图像数据融合。

技术领域

本发明涉及多传感器摄像机领域，并且具体地涉及通过多传感器摄像机捕获到的图像的拼接。

背景技术

包括具有部分重叠视野的多个传感器的摄像机日益受到监控市场的青睐。通过这样的摄像机的多个传感器同时捕获到的图像可以被拼接在一起来形成全景图像，该全景图像描绘了该多个传感器的组合视野。优选进行拼接以便提供图像之间的无缝衔接。

将来自多个传感器的图像拼接在一起的处理通常是处理密集的(processingintense)，因此倾向于在摄像机的处理管道(processing pipeline)中引入延迟。最终，这可能会限制摄像机的帧速率，原因在于摄像机的处理管道可能无法足够快地处理捕获到的帧。

在市场上可利用的摄像机中发现的这个问题的一个解决方案是在摄像机的处理管道的上游包括现场可编程门阵列(FPGA)，从而在将同时捕获到的图像输入到处理管道之前执行图像的拼接。然而，这种方案是昂贵的，尤其是在FPGA应当足够快从而不会引入由图像拼接引起的不期望的延迟的情况下。而且，这种方案排除了以下情况：摄像机的处理管道中实施的一些图像处理是在执行拼接之前对单个图像进行的。在某些情况下，这可能导致在摄像机的处理管道的终端处输出的最终的拼接图像的品质较差。因此，存在改进的空间。

发明内容

鉴于以上所述，因此本发明的目的是提供一种用于将通过摄像机的多个传感器同时捕获到的图像拼接在一起的改进过程。具体地，目的是减少在摄像机的处理管道中由拼接图像的过程造成的延迟。另一目的是提供一种以成本效益的方式实施的拼接过程。

根据本发明的第一方面，上述目的是通过一种在包括具有部分重叠视野的第一传感器和第二传感器的多传感器摄像机中执行的方法实现，该方法包括：

接收分别通过第一传感器和第二传感器同时捕获到的第一视频帧和第二视频帧，

其中第一视频帧和第二视频帧中的每个具有不与该第一视频帧和该第二视频帧中的另一个重叠的非重叠部分、以及与该第一视频帧和该第二视频帧中的另一个重叠的重叠部分，

通过将来自第一视频帧和第二视频帧的非重叠部分的图像数据与仅来自第一视频帧的重叠部分的图像数据结合在一起，生成第一视频流的帧，

生成第二视频流的帧，其中第二视频流的帧包括来自至少第二视频帧的重叠部分的图像数据，

并行处理第一视频流的帧和第二视频流的帧，其中第二视频流的帧的处理包括基于来自至少第二视频帧的重叠部分的图像数据来准备重叠(overlay)；以及

在第一视频流中的处理后的帧的与第一视频帧的重叠部分相对应的部分处，将重叠添加到该第一视频流中的处理后的帧，

其中在准备重叠的步骤和添加重叠的步骤中的至少一个步骤中，将来自第一视频帧的重叠部分的图像数据与来自第二视频帧的重叠部分的图像数据融合。