[发明专利]视频数据中的实时帧对准

权利要求书

1.一种用于对准视频数据中的帧的方法，包括：

确定第一地理位置，其对应于由视频数据流的第一帧的边缘或角落的第一像素表示的区域；

对所述第一地理位置编码以生成与所述第一像素相关联的地理定位元数据；

将与所述第一像素相关联的地理定位元数据并入到所述第一帧的元数据空间中；

确定第二地理位置，其对应于由所述视频数据流的第二帧的边缘或角落的第二像素表示的区域；

对所述第二地理位置编码以生成与所述第二像素相关联的地理定位元数据；

将与所述第二像素相关联的地理定位元数据并入到所述第二帧的元数据空间中；以及

在不需要基于表示在所述第一帧和/或所述第二帧中的成像特征执行特征配准的情况下将所述第一帧与所述第二帧实时地对准，以生成包括所述第一帧和所述第二帧的图像。

2.根据权利要求1所述的方法，还包括：

将与所述第一像素相关联的地理定位元数据和与所述第二像素相关联的地理定位信息进行比较，以确定所述第一地理位置相对于所述第二地理位置的定位；和

基于所述第一地理位置相对于所述第二地理位置的定位，将所述第一帧的边缘或角落与所述第二帧的边缘或角落对准，以生成包括所述第一帧和所述第二帧的图像。

3.根据权利要求1所述的方法，包括基于由所述第一像素覆盖的目标区域的大小来确定所述第一地理位置。

4.根据权利要求1所述的方法，包括：基于生成视频流的图像传感器的全球定位系统定位数据确定所述第一地理位置。

5.根据权利要求1所述的方法，包括基于生成所述视频流的图像传感器的指向信息确定所述第一地理位置。

6.根据权利要求1所述的方法，包括将与所述第一像素相关联的地理定位元数据连同所述视频流中的所述第一帧从帧拼接模块传输到后端处理器。

7.根据权利要求1所述的方法，包括将与所述第一像素相关联的地理定位元数据并入到所述第一帧的HANC元数据空间或VANC元数据空间中。

8.根据权利要求1所述的方法，包括在不需要对所述第一帧或所述第二帧重新采样的情况下将所述第一帧与所述第二帧实时地对准。

9.根据权利要求1所述的方法，包括在不需要使所述第一帧中的像素与所述第二帧中的像素重叠的情况下将所述第一帧与所述第二帧实时地对准。

10.根据权利要求1所述的方法，包括：基于由全球定位系统(GPS)信息、视线(LOS)信息、惯性引导信息和传感器指向信息组成的组中的地理定位信息来确定所述第一地理位置。

11.一种用于对准视频数据中的帧的方法，包括：

确定第一地理位置，其对应于由视频数据流的帧表示的区域；

对所述第一地理位置编码以生成与第一帧相关联的地理定位元数据；

将与第一相关联的地理定位元数据并入到所述第一帧的元数据空间中；

确定第二地理位置，其对应于由所述视频数据流的第二帧表示的区域；

对所述第二地理位置编码以生成与所述第二帧相关联的地理定位元数据；

将与第二像素相关联的地理定位元数据并入到所述第二帧的元数据空间中；

将所述第一帧与所述第二帧对准以生成包括所述第一帧和所述第二帧的图像；

将与所述第一帧相关联的地理定位元数据和与所述第二帧相关联的地理定位信息进行比较，以确定所述第一地理位置相对于所述第二地理位置的定位；

基于所述第一地理位置相对于所述第二地理位置的定位，将所述第一帧与所述第二帧对准，以生成包括所述第一帧和所述第二帧的图像；以及

通过基于表示在所述第一帧和所述第二帧中的成像特征执行特征配准来将所述第一帧与所述第二帧对准。

12.一种传感器数据处理装置，包括：

处理电路；

原始视频数据输入路径，其被耦合到所述处理电路；

多个图像数据输出路径，其被并联耦合到所述处理电路；以及

一个或多个元数据输出路径，其与所述图像数据输出路径并联耦合到所述处理电路；以及

帧拼接模块，其被耦合到图像数据输出，其中所述帧拼接模块被配置为：

确定对应于由视频数据流的第一帧的边缘或角落的第一像素表示的区域的第一地理位置；

对所述第一地理位置编码以生成与所述第一像素相关联的地理定位元数据；

将与所述第一像素相关联的地理定位元数据并入到所述第一帧的元数据空间中；

确定对应于由所述视频数据流的第二帧的边缘或角落的第二像素表示的区域的第二地理位置；

对所述第二地理位置编码以生成与所述第二像素相关联的地理定位元数据；

将与所述第二像素相关联的地理定位元数据并入到所述第二帧的元数据空间中；

将所述第一帧与所述第二帧对准以生成包括所述第一帧和所述第二帧的图像；

将与所述第一像素相关联的地理定位元数据和与所述第二像素相关联的地理定位信息进行比较，以确定所述第一地理位置相对于所述第二地理位置的定位；

基于所述第一地理位置相对于所述第二地理位置的定位，将所述第一帧的边缘或角落与所述第二帧的边缘或角落对准，以生成包括所述第一帧和所述第二帧的图像；以及

在不需要对所述第一帧或所述第二帧重新采样的情况下将所述第一帧和所述第二帧实时地对准。