[发明专利]演播室中模拟摄像机运动跟踪的视频处理方法及装置

说明书

本发明公开了一种演播室中模拟摄像机运动跟踪的视频处理方法及装置，涉及视频信号处理技术领域。其方法技术要点包括获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；在实拍高分辨率视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面，本发明具有实现成本低且实现方式简易的优点。

技术领域

本发明涉及视频信号处理技术领域，更具体地说，它涉及一种演播室中模拟摄像机运动跟踪的视频处理方法及装置。

背景技术

虚拟演播室中要用到色键抠像技术，通过将前景（通常是主持人）置于特定颜色的背景板前，再将拍摄到画面中特定颜色的背景部分抠掉，用渲染的虚拟背景替换特定颜色的背景来构成输出的合成画面。增强现实演播室利用键混技术将增强的物件叠加到被拍摄画面中。这都要求在虚拟演播室与增强现实演播室的实际应用中，当摄像机作平摇、俯仰和镜头变焦运动时，必须使渲染的虚拟背景或增强物件与拍摄画面保持绝对同步，这样最终的合成输出画面才是完美的，否则将会出现输出画面中实拍部分与渲染部分运动或缩放不一致的“穿帮”现象，可以说：保持实拍部分与渲染部分运动或缩放的同步一致是虚拟演播室与增强现实演播室的基本要求。目前的虚拟演播室与增强现实演播室为实现这一要求的处理方法有两种:

方法一在虚拟特定背景色板上绘制有特征识别图案, 当摄像机运动时，对摄像机拍摄到的特征识别图案进行识别计算,通过识别计算得出摄像机的平摇、俯仰和变焦运动状态数据，根据运动状态数据对渲染的虚拟背景或增强物件进行相应的计算，从而实现虚拟背景或增强物件与拍摄画面的同步一致。

方法二在摄像机云台上加装机械传感器，获取云台水平、俯仰移动和镜头缩放等传感数据，渲染机实时获得传感数据，根据传感数据获得摄像机位的水平俯仰运动角度变化和镜头缩放变化，从而对实时渲染虚拟背景或增强物件进行相应运算实现与摄像机运动拍摄画面的同步。

方法一的缺陷在于需要特定背景色板并绘制有特定识别特征的图案，场地的准备过程比较复杂，同时对摄像机对图像的识别精确度要求很高，当摄像机拍摄画面模糊会导致跟踪的精度变差，还有就是此方法只能用于特定背景色板的虚拟演播室，在实景拍摄的增强现实演播室里无法使用。方法二的缺陷在于摄像机水平俯仰缩放各个运动部位都必须加装相应的传感器，造价不菲，精度受限于机械加工及传感器的精度，跟踪误差难控制，拍摄画面难以与渲染场景及增强物件完全一致，而且必须有专人操作摄像机的运动。

发明内容

针对现有的技术问题，本发明的第一目的在于提供一种演播室中模拟摄像机运动跟踪的视频处理方法，其具有实现成本低且实现方式简易的优点。

为实现上述目的，本发明提供了如下技术方案：一种演播室中模拟摄像机运动跟踪的视频处理方法，包括：

获取拍摄的实拍视频画面，获取平摇、俯仰和镜头变焦的运动参数；

在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；

在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；

将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面。