[发明专利]一种8K视频多核异构处理装置

说明书

一种8K视频多核异构处理装置，涉及超高清分辨率视频成像及处理技术领域，解决现有高分辨率监控成像设备，无法实现在同一设备中8K分辨率成像的同时，完成实时运动目标的识别和跟踪等问题，包括超高分辨率的CMOS图像传感器、多核DSP处理器、FPGA以及多核ARM压缩视频处理器，采用FPGA对CMOS图像传感器输出的高速图像数据进行高速缓存，根据不同处理器处理功能的需要进行图像的裁剪和预处理，将图像实时的分发给不同的处理器进行实时处理。多核DSP处理器获取感兴趣区域的图像，进行图像目标识别和跟踪处理，根据目标区域对图像传感器进行自动调光控制。多核ARM处理器完成彩色图像还原、自动白平衡调整和实时8k视频压缩、HDMI视频显示，压缩编码千兆网口输出等功能。

技术领域

本发明涉及超高清分辨率视频成像及处理技术领域，具体涉及超高分辨率大范围场景监控成像领域，涉及目标动态处理和8K视频图像压缩显示技术。

背景技术

随着5G网络技术和超高清显示技术的发展，对超高分辨成像系统起到了极大推进作用。从数字电视到高清、全高清、超高清4K，再到今天的8K，显示像素越来越密，画面也就越来越清晰，对成像系统的要求越来越高，2020年东京奥运会和2022年北京冬奥会都宣布，将采用8K直播。中国超高清视频产业发展大会上，国家广播电视总局再次表示要加快推动中国超高清视频产业发展。

8K不仅仅是高分辨率，还包括了广色域、高数据传输带宽、高性能的图像处理和压缩。超高清图像的内容的获取目前8k视频整个产业的一个短板，该技术的发展起到至关重要的作用，对成像器件和图像处理、压缩和传输都提出了更高的要求。

2018年索尼发布了，UHC-8300装有三个1.25英寸的8K成像器的8K摄像机系统，将在索尼BIRTV2018展台上进行国内首次展示。UHC-8300开启了8K世界的大门，其出色的灵活性将为用户带来8K、4K拍摄技术和和其他强大功能。

8K分辨率即7680x4320(8K UHD,4320p)，总像素数量达到33M pix。在很多重要场景的监控采集视频信息的要求，对超高分辨率提出了更高的要求。智能监控设备已逐渐成为社会各层面普遍应用的设施，涉及范围广泛，包括国防安全、生态安全、重要设施场所安全、社会秩序安全、民众居住及日常生活安全等。因此智能监控产品也在越来越多的领域得以飞速发展。在广域高清监控应用领域，搭配大视场广角镜头，8k成像处理系统能够满足超高清监视场景中对更广的监视范围，更清楚的图像细节，更强的图像处理能力，更快的传输速率的要求。

目前的高分辨率广域监控成像设备，大多还基于4k分辨率图像的编码压缩和视频记录，无法实现在同一设备中8K分辨率成像的同时，完成实时运动目标的识别和跟踪，和8K视频的实时编码压缩处理后远距离传输。

发明内容

本发明为解决现有高分辨率监控成像设备，无法实现在同一设备中8K分辨率成像的同时，完成实时运动目标的识别和跟踪等问题，提供一种8K视频多核异构处理装置。

一种8K视频多核异构处理装置，包括超高分辨率的CMOS图像传感器、多核DSP处理器、FPGA以及多核ARM压缩视频处理器；其特征是：

所述FPGA采集超高分辨率的CMOS图像传感器的数据和成像驱动控制，将采集到的原始图像数据进行高速缓存并根据不同视频处理器的需要将图像进行裁剪和预处理；

所述多核DSP处理器向FPGA发送目标位置，FPGA用于对感兴趣的目标进行开窗后图像发送至多核DSP处理器，多核DSP处理器根据感兴趣目标区域进行目标的识别和跟踪处理，同时可进行目标区域的实时调光处理；

所述多核DSP处理器通过串口和网口，接收上位机系统控制参数和状态信息的发送；

所述FPGA将视场中心区域的8K视频和2K感兴趣区域图像，实时发送至多核ARM压缩视频处理器进行图像的压缩编码输出和存储记录；