[发明专利]视频数据中的实时帧对准

说明书

传感器数据处理装置可以耦合到不同类型的多个图像传感器。该装置基于传感器地理定位信息来确定在每个帧或像素中成像的区域的地理位置，并且将地理定位信息编码在对应帧的元数据空间中。该装置被配置成基于地理定位信息将帧的边缘和/或角落与相邻帧的边缘或角落对准，以拼接在一起成为没有重叠帧的马赛克或全景图像。该装置可以被描绘成在不需要执行特征配准和不需要重新采样帧的情况下将图像帧实时地拼接在一起。

技术领域

本公开处于图像处理架构领域，并且更具体地处于超高清视频处理领域。

背景技术

具有大图像格式和小像素间距的超高清(UHD)图像传感器正变得普遍可用于许多新产品和应用的使用中。然而，常规的视频架构通常不支持UHD传感器的带宽和定时要求。已经开发出支持UHD传感器的带宽和定时要求的新视频架构；然而，这些新的视频架构通常利用先前可用的硬件的情况下从头开始开发以用于特定用途。

UHD传感器技术的改进大大超过许多现有视频传输架构的带宽和传输能力。被设计和配置用于传输高清(HD)视频的现有视频硬件的广泛基础设施被部署并安装在全世界的设备中。该基础设施通常不支持将视频数据从UHD摄像机传输到显示器或终端用户。

现有的HD视频架构通常被配置用于处理例如符合一种或多种标准格式(诸如电影和电视工程师协会(SMPTE)标准SMPTE 292M和SMPTE 424M)的视频数据流。这些标准包括720p高清(HDTV)格式，其中视频数据被格式化为具有720条水平数据路径和16：9宽高比的帧。SMPTE 292M标准包括例如720p格式，其具有1280x 720像素的分辨率。

HD视频数据的常见传输格式是720p60，其中720p格式的视频数据以每秒60帧进行传送。SMPTE 424M标准包括1080p60传输格式，其中1080p格式的数据以每秒60帧进行传送。1080p格式的视频数据有时被称为“全HD”并且具有1920x 1080像素的分辨率。

大量当前部署的图像检测系统被按照HD视频标准(诸如常用的720p标准)来构建。720p标准系统的1280x 720像素帧每帧包括约1.5兆像素。相反，UHD图像传感器通常以5k x5k格式输出图像帧，其每帧具有约2500万像素。因此，720p标准系统中使用的1280x 720像素远不足以传输由UHD图像传感器生成的大得多的数量的像素。

UHD传感器通常与视频架构一起使用，该视频架构被特别设计以用于传输UHD视频数据。这些新的视频架构通常利用视频压缩技术来支持UHD带宽和定时要求。目前用于传输UHD视频数据的一些视频架构使用并行编码器或编解码器和数据压缩来传输UHD视频。然而，压缩的使用使得这些视频架构不适合依赖于接收原始传感器数据的终端用户。

使用传统硬件来传输来自下一代相机的UHD视频的使用是有问题的，这是因为传统硬件通常没有提供足够的带宽。此外，针对已经实现大量传统视频处理设备的用户而言，用新架构替代现有视频架构来传输UHD视频数据可能是不切实际的和/或极其昂贵的。

各种空间和时间上的视频压缩技术已经被用于处理来自UHD图像传感器的图像数据，以在现有HD视频架构上进行传输。UHD视频数据通常使用压缩算法进行压缩，该压缩算法保留足够的UHD视频数据以生成用于人类查看的可见图像和视频流，但丢失或丢弃可能是人类可视图像和视频流所不需要的来自UHD图像传感器的数据。

用于处理来自UHD传感器的数据的其他常规技术通常涉及使用已经针对UHD传感器的特定应用而开发的新的或专有的视频架构。这些技术成本高且效率低，这是因为它们没有利用已经在全世界部署的广泛可用的HD视频架构。

在现有设备上传输UHD图像数据通常涉及将图像数据分成多个分组(packet)或子帧。对单独的视频路径分组进行分类(sort)并且将多个帧拼接(stitch)在一起成为全景场景通常会增加可以防止图像数据的实时显示的处理步骤。