[发明专利]超高清全景视频实时生成与多通道同步播放系统

摘要

一种超高清全景视频实时生成与多通道同步播放系统，涉及全景摄像技术领域，本发明基于对摄像机阵列成像采集并使用GPU高速并行处理特性，实现了高清图像实时的拼接、校正、调光、压码、传输功能，设计开发出多通道全景多摄像机及其应用系统，针对柱面和球面等不同拍摄模式自适应选择恰当的重投影模型，成功解决了国内现有的全景摄像设备普遍存在的稳定性不高、分辨率低、扩展性差、缺乏实时性等问题，产品分辨率最高可达：4320p～12960p，帧率：30fps。

主权项

一种超高清全景视频实时生成与多通道同步播放系统，其特征在于：整个系统由超高清全景视频实时生成系统与应用播放系统两个部分组成，生成系统负责图像的采集与拼接；应用播放系统负责将全景视频应用于球幕或环幕影院并进行播放；所述生成系统由图像采集部分与智能拼接部分两部分组成，所述图像采集部分包括HCI交互模块、嵌入式摄像阵列电控系统和多路图像并行采集模块；所述多路图像并行采集模块采用高清摄像机作为图像采集为输入，所采集到的图像信号交给嵌入式摄像阵列电控系统，以嵌入式系统为控制平台，经过程序控制，会让图像处理系统对采集的信号进行粗调、匹配、拼接、平滑处理；所述嵌入式摄像阵列电控系统用于控制快门同步控制模块、曝光度反馈与控制条件系统和云台两自由度马达电动控制器；所述HCI交互模块控制姿态、曝光、快门，使用基于硬件的多路采集设备以30fps速度传输到显示卡图像缓存中；所述智能拼接部分包括基于GPU/OpenCL 1.1的数据流控制模块和基于GPU的实时生成模块，所述基于GPU的实时生成模块包括智能拼接模块和基于GPU的H.265格式并行压缩模块；所述基于GPU/OpenCL 1.1的数据流控制模块实时的采集来自图像采集部分的多路高清图像，通过并行运算，经基于遗传算法的全景图像畸变校正、图片全方向切割、多遍次配准拼接、图像融合生成，经H.265格式并行压缩模块进行压缩，经图像传输、同步控制进行H.265格式并行解码，再经延迟渲染后对图像实现融合拼接，进行多幕拼接显示，通过移动设备播放控制，并将拼接得到相应的全景图像并压缩添加到视频数据中；所述应用播放系统包括与多路图像并行采集模块通过网络连接的数据融合服务器，采集设备将采集的图像信息编码压缩以后，通过局域网或以太网传给数据融合服务器，数据融合服务器对多台采集设备的图像进行融合，并将结果传输给多台显示终端显示；所述多台显示终端均包括全景播放同步服务器，所述全景播放同步服务器经局域网连接有解码拼接整合器，经解码拼接整合器连接至全景式拼接投影阵列。