[发明专利]视频数据中的符号体系编码的方法及装置

说明书

传感器数据处理装置可以耦合到不同类型的多个图像传感器。该装置对图像帧的元数据空间中的符号体系元数据进行编码，并维护来自帧中的传感器的原始数据。符号体系元数据识别可以覆盖在帧上的符号类型以及帧中识别出符号可以重叠的位置。该装置将包括符号体系元数据的帧传输到输出路径，而不将符号体系覆盖在帧中的原始数据上。可以执行后处理以基于符号体系元数据选择性地将符号体系覆盖在对应的帧的图像中。

技术领域

本公开处于图像处理架构领域，并且更具体地处于超高清视频处理领域。

背景技术

具有大图像格式和小像素间距的超高清(UHD)图像传感器正变得普遍可用于许多新产品和应用的使用中。然而，常规的视频架构通常不支持UHD传感器的带宽和定时要求。已经开发出支持UHD传感器的带宽和定时要求的新视频架构；然而，这些新的视频架构通常利用先前可用的硬件的情况下从头开始开发以用于特定用途。

UHD传感器技术的改进大大超过许多现有视频传输架构的带宽和传输能力。被设计和配置用于传输高清(HD)视频的现有视频硬件的广泛基础设施被部署并安装在全世界的设备中。该基础设施通常不支持将视频数据从UHD摄像机传输到显示器或终端用户。

现有的HD视频架构通常被配置用于处理例如符合一种或多种标准格式(诸如电影和电视工程师协会(SMPTE)标准SMPTE 292M和SMPTE 424M)的视频数据流。这些标准包括720p高清(HDTV)格式，其中视频数据被格式化为具有720条水平数据路径和16：9宽高比的帧。SMPTE 292M标准包括例如720p 格式，其具有1280x 720像素的分辨率。

HD视频数据的常见传输格式是720p60，其中720p格式的视频数据以每秒 60帧进行传送。SMPTE 424M标准包括1080p60传输格式，其中1080p格式的数据以每秒60帧进行传送。1080p格式的视频数据有时被称为“全HD”并且具有1920x 1080像素的分辨率。

大量当前部署的图像检测系统被按照HD视频标准(诸如常用的720p标准) 来构建。720p标准系统的1280x 720像素帧每帧包括约1.5兆像素。相反，UHD 图像传感器通常以5k x 5k格式输出图像帧，其每帧具有约2500万像素。因此， 720p标准系统中使用的1280x720像素远不足以传输由UHD图像传感器生成的大得多的数量的像素。

UHD传感器通常与视频架构一起使用，该视频架构被特别设计以用于传输 UHD视频数据。这些新的视频架构通常利用视频压缩技术来支持UHD带宽和定时要求。目前用于传输UHD视频数据的一些视频架构使用并行编码器或编解码器和数据压缩来传输UHD视频。然而，压缩的使用使得这些视频架构不适合依赖于接收原始传感器数据的终端用户。

使用传统硬件来传输来自下一代相机的UHD视频的使用是有问题的，这是因为传统硬件通常没有提供足够的带宽。此外，针对已经实现大量传统视频处理设备的用户而言，用新架构替代现有视频架构来传输UHD视频数据可能是不切实际的和/或极其昂贵的。

各种空间和时间上的视频压缩技术已经被用于处理来自UHD图像传感器的图像数据，以在现有HD视频架构上进行传输。UHD视频数据通常使用压缩算法进行压缩，该压缩算法保留足够的UHD视频数据以生成用于人类查看的可见图像和视频流，但丢失或丢弃可能是人类可视图像和视频流所不需要的来自 UHD图像传感器的数据。

用于处理来自UHD传感器的数据的其他常规技术通常涉及使用已经针对 UHD传感器的特定应用而开发的新的或专有的视频架构。这些技术成本高且效率低，这是因为它们没有利用已经在全世界部署的广泛可用的HD视频架构。

在现有设备上传输UHD图像数据通常涉及将图像数据分成多个分组 (packet)或子帧。对单独的视频路径分组进行分类(sort)并且将多个帧拼接 (stitch)在一起成为全景场景通常会增加可以防止图像数据的实时显示的处理步骤。