[发明专利]多传感器摄像机、用于多传感器摄像机的方法和处理管道

权利要求书

1.一种在包括具有部分重叠视野的第一传感器(102a)和第二传感器(102b)的多传感器摄像机(100)中执行的方法，包括：

接收(S02)分别通过所述第一传感器(102a)和所述第二传感器(102b)同时捕获到的第一视频帧(108a)和第二视频帧(108b)，

其中所述第一视频帧(108a)和所述第二视频帧(108b)中的每个具有不与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的非重叠部分(118a、118b)、以及与所述第一视频帧(108a)和所述第二视频帧(108b)中的另一个重叠的重叠部分(128a、128b)，

通过将来自所述第一视频帧(108a)和所述第二视频帧(108b)的所述非重叠部分(118a、118b)的图像数据(A、B)与仅来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)结合在一起，生成(S04)第一视频流(214)的帧(302)，

生成(S06)第二视频流(216)的帧(304、404)，其中所述第二视频流的所述帧(304、404)包括来自至少所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)，

并行处理(S08)所述第一视频流的所述帧(302)和所述第二视频流的所述帧(304、404)，其中所述第二视频流的所述帧(304、404)的处理包括基于来自至少所述第二视频帧(108b)的所述重叠部分(128b)的所述图像数据(B’)来准备重叠(306、406)，以及

在所述第一视频流中的处理后的帧(308)的与所述第一视频帧(108a)的所述重叠部分(128a)相对应的部分(328a)处，将所述重叠(306、406)添加(S10)到所述第一视频流中的所述处理后的帧(308)，

其中所述第二视频流的所述帧(304)包括来自所述第二视频帧(108b)和所述第一视频帧(108a)的所述重叠部分(128a、128b)的图像数据(B’、A’)，准备所述重叠的步骤包括将来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)与来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)融合，并且在添加所述重叠的步骤中，所述重叠(306)替换所述第一视频流中的所述处理后的帧(308)的在与所述第一视频帧(108a)的所述重叠部分(128a)相对应的部分(328a)中的图像数据(A’)，

或者

其中所述重叠(406)包括仅来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)，添加所述重叠的步骤包括：在所述第一视频流(108a)中的所述处理后的帧(308)的与所述第一视频帧(108a)的所述重叠部分(128a)相对应的部分(328a)处，根据掩码(408)将所述重叠(406)与所述第一视频流(108a)中的所述处理后的帧(308)融合，其中所述掩码(408)为所述重叠(406)中的每个像素定义融合度，并且所述掩码(408)在准备所述重叠的步骤中被计算。

2.根据权利要求1所述的方法，其中在准备所述重叠的步骤包括将来自所述第二视频帧(108b)的所述重叠部分(128b)的图像数据(B’)与来自所述第一视频帧(108a)的所述重叠部分(128a)的图像数据(A’)融合的情况下，所述融合包括：针对所述重叠部分(128a、128b)中的每个像素，计算来自所述第一视频帧(108a)的图像数据(A’)和来自所述第二视频帧(108b)的图像数据(B’)的加权平均值，

其中与来自所述第二视频帧(108b)的所述重叠部分(128b)的所述图像数据(B’)相关联的权重取决于从所述像素到所述第二视频帧(108b)的所述重叠部分(128b)和所述非重叠部分(118b)之间的边界的最短距离，并且

其中与来自所述第一视频帧(108a)的所述重叠部分(128a)的所述图像数据(A’)相关联的权重取决于从所述像素到所述第一视频帧(108a)的所述重叠部分(128a)和所述非重叠部分(118a)之间的边界的最短距离。