[发明专利]一种连续动态图像中空间信息的编码方法

说明书

本发明公开了一种连续动态图像中空间信息的编码方法，包括如下步骤：解析提取空间信息数据、构建空间信息数据包、编码空间信息数据包。通过本发明的编码方法，能够实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置和朝向以及空间深度信息，从而将这些编码存储的摄像机参数、空间深度信息，在虚拟仿真、图形视觉增强场景中应用，从而在影视拍摄、广告制作、个人视频VLOG等多个应用场景中，实时植入丰富、一体的图形文字增强效果，改善最终画面显示效果。

技术领域

本发明涉及视频效果虚拟增强合成技术领域，具体涉及一种连续动态图像中空间信息的编码方法。通过该方法，能够实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置和朝向以及空间深度信息，从而将这些编码存储的摄像机参数、空间深度信息，在虚拟仿真、图形视觉增强场景中应用。

背景技术

随着图形图像以及虚拟现实技术的不断进步以及众多摄像设备，包括移动终端的投入应用，这样就可以随时进行视频拍摄，随时对周围的事物进行记录。随之而来地，在既有的拍摄画面上增加3D图形、图像、特效、文字等AR虚拟图形图像，增加相关的附属信息就变成了必不可少的需求。

针对这种需求，目前在拍摄画面的同时，通过高精度雷达、微波等设备同时扫描、抓取对应摄像机画面中物体的深度数据，这些深度信息和拍摄画面可以进行逐点逐像素的对应起来，每个深度点值和每个像素的颜色值对应。后期处理时，使用这些深度值作为阈值，控制每帧摄像机画面和三维引擎图形可以进行自动穿插、叠加，进行快速合成，实现真实拍摄图像和计算机三维引擎生成的虚拟图形很好的融合。并且，利用这些视频的空间信息，将摄像机的物理参数、画面深度点值和画面颜色值对应起来，从而根据这些数据，在所拍摄的画面上增加3D 图形、图像、特效、文字以及AR虚拟图形图像等相关的附属信息。

但是，目前的处理技术一般都是通过后期人工在每帧图像上添加上述附属信息，然后再对每帧进行调整、渲染叠加，并没有实时对视频的空间信息数据进行编码存储，因此无法实现实时叠加渲染。如果根据连续且互相关联的画面，根据其中图像内容特征点和透视关系，获得存储摄像机的位置X\Y\Z，旋转角度PAN\TILT\ROLL，镜头ZOOM等相关信息，再根据这些信息，经过三维实时渲染，在视频画面上叠加渲染生成的图形图像，由于具有相同的透视关系，这些计算机生成的图形图像，能很好的背景视频形成完整统一的效果。

发明内容

针对上面提到的技术问题，本发明提出了一种连续动态图像中空间信息的编码方法，目的在于解决用户在视频拍摄过程中，实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置以及朝向等空间信息数据。

本发明的一种连续动态图像中空间信息的编码方法包括如下步骤：

解析提取空间信息数据，在视频拍摄的同时，将视频中每帧画面的空间信息数据分别解析和分离出来，形成独立的空间信息数据；

构建空间信息数据包，根据所述空间信息的类别，构建空间信息数据包，存储所述空间信息数据；

编码所述空间信息数据包，利用视频中每帧画面的音频轨道或图像数据，对构建的所述空间信息数据包进行编码，并与所述音频轨道或所述图像数据封装在一起，完成所述空间信息数据包的编码，最终生成具有空间信息的视频画面。

可选择地，所述空间信息包括摄像机物理数据和图像深度信息，所述构建空间信息数据包的步骤包括构建摄像机物理参数数据包子过程和构建图像深度数据包子过程。

其中，所述构建摄像机物理参数数据包子过程步骤为：

提取每帧画面中相关摄像机和镜头的X、Y、Z、PAN、TILT、ROLL、ZOOM 参数信息；

构建摄像机物理参数数据包，并将提取出来的所述摄像机和镜头的参数信息分别填入所述摄像机物理参数数据包的相应字段中；