[发明专利]超高清全景视频实时生成与多通道同步播放系统

说明书

技术领域

本发明涉及全景摄像技术领域，具体涉及一种超高清全景视频实时生成与多通道同步播放系统。

背景技术

在全景摄像领域，以Sony，CarlZeiss等发明了单镜头光学折射全景成像技术，但是分辨率有限，并且只能生成环形图像；通过软件实现全景图片的拍摄和旋转扫描式拍摄方式，都只能单张拍摄，不能拍摄视频，并且拍摄单张图片都需要较长耗时。目前国内制作的全景拼接设备，都存在拼接区域模糊、不清晰的问题，在处理拼接时，还通常使用AfterEffects，PS等后期软件手工完成，耗费大量时间。在还原超高清视频时，需要4～16台投影机拼接融合成环幕、球幕、BOX幕等形式，投影机数量多。国内在大屏幕融合技术已经发展了有十年，不过一直存在着融合区域模糊，黑场时存在暗度灰光无法融合，同帧亮暗度差较大时融合区域有亮带的问题。

发明内容

本发明所要解决的技术问题在于提供一种超高清全景视频实时生成与多通道同步播放系统。

本发明所要解决的技术问题采用以下技术方案来实现：

一种超高清全景视频实时生成与多通道同步播放系统，整个系统由超高清全景视频实时生成系统与应用播放系统两个部分组成，生成系统负责图像的采集与拼接；应用播放系统负责将全景视频应用于球幕或环幕影院等并进行播放；

所述生成系统由图像采集部分与智能拼接部分两部分组成，所述图像采集部分包括HCI交互模块、嵌入式摄像阵列电控系统和多路图像并行采集模块；

所述多路图像并行采集模块采用高清摄像机作为图像采集为输入，所采集到的图像信号交给嵌入式摄像阵列电控系统，以嵌入式系统为控制平台，经过程序控制，会让图像处理系统对采集的信号进行粗调、匹配、拼接、平滑处理；

所述嵌入式摄像阵列电控系统用于控制快门同步控制模块、曝光度反馈与控制条件系统和云台两自由度马达电动控制器；

所述HCI交互模块控制姿态、曝光、快门，使用基于硬件的多路采集设备以30fps速度传输到显示卡图像缓存中；

所述智能拼接部分包括基于GPU/OpenCL1.1的数据流控制模块和基于GPU的实时生成模块，所述基于GPU的实时生成模块包括智能拼接模块和基于GPU的H.265格式并行压缩模块；

所述GPU/OpenCL1.1的数据流控制模块实时的采集来自图像采集部分的多路高清图像，通过并行运算，经实现基于遗传算法的全景图像畸变校正、图片全方向切割、多遍次配准拼接、图像融合生成，经H.265格式并行压缩模块进行压缩，经图像传输、同步控制进行H.265格式并行解码，再经延迟渲染后对图像实现融合拼接，进行多幕拼接显示，通过移动设备播放控制，并将拼接得到相应的全景图像并压缩添加到视频数据中；

所述应用播放系统包括与多路图像并行采集模块通过网络连接的数据融合服务器，采集设备将采集的图像信息编码压缩以后，通过局域网（以太网）传给数据融合服务器，数据融合服务器对对台采集设备的图像进行融合，并将结果传输给多台显示终端显示；

所述多台显示终端显示均包括全景播放同步服务器，所述全景播放同步服务器经局域网连接有解码拼接整合器，经解码拼接整合器连接至全景式拼接投影阵列；

本发明基于对摄像机阵列成像采集并使用GPU高速并行处理特性，实现了高清图像实时的拼接、校正、调光、压码、传输功能，设计开发出多通道全景多摄像机及其应用系统，针对柱面和球面等不同拍摄模式自适应选择恰当的重投影模型，成功解决了国内现有的全景摄像设备普遍存在的稳定性不高、分辨率低、扩展性差、缺乏实时性等问题，产品分辨率最高可达：4320p～12960p，帧率：30fps。

本发明的有益效果是：

1）采用GPU/OpenCL1.1并行处理技术，通过对GPU的扩展，实现多GPU架构并发运算，解决了运算不即时的问题，基本可以达到在30ms内完成一次拼接融合与编码。

2）采取的基于遗传算法的全景图像畸变校正技术，满足了实时性要求，全景图像拍摄模式采用的是柱面和球面两种拍摄模式，将全景视频的单一柱面拍摄模式扩展到柱面和球面两种不同模式；利用多台摄像机来同步拍摄真实场景画面，多通道视频画面进行实时无缝拼接，获得超高分辨率全景视频。

3）采用分布式网络，使用多台电脑分割显示来解决。多台电脑协同播放时视频的精准同步就成了最大的问题，我们独创的引入了自适应同步算法，让每台投影机上显示的画面相差不超过两帧，达到人眼视觉上的同步。