[发明专利]一种360度VR全景图形图像及视频实时生成方法

说明书

本发明公开了一种360度VR全景图形图像的实时生成方法，该方法包括：确定当前的摄像机位置和场景信息；将所述摄像机拍摄的场景内的三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并将其转换到一个渲染目标中，生成全景场景贴图；将生成的全景场景贴图通过视频IO卡的输出，得到有键信号的360度VR全景图形图像。此外，本发明还公开了一种360度VR全景图形图像视频的实时生成方法，该方法将全景视频信号中的全景视频与360度VR全景图形图像进行画面叠加，生成带有360度VR全景图形图像的视频。

技术领域

本发明涉及计算机图形图像跟踪处理领域，具体涉及一种360度VR全景图形图像及视频的实时生成方法。

背景技术

VR是Virtual Reality的英文缩写，中文意为虚拟现实。360度VR视频就是利用VR技术呈现的360x 180的全景视频画面，让使用着在手机、头盔、PC等设备上获得较强的观看沉浸感、交互感。这种新兴的视频模式近年来发展十分迅速，已经成为平面、电视、电影、网络等多个媒体竞相发展的重要传播手段，也是各个软硬件产商重点投入的商业市场。

在现有的产品技术中，还只是集中在360度全景视频摄像设备(全景摄像机)以及观看设备(VR眼镜)的研发上，其仅仅能够完成简单的VR视频拍摄、缝合拼接和直播功能，而目前在中间的360度全景三维图形图像引擎上的技术、方法比较简单，而且还存在着功能单一、操作复杂等问题。

而在360度全景视频播出中，目前还没有很好的方式添加全景图形文字。如申请号201210365946.9的专利申请公开了一种全景视频的展示与交互系统和方法，其仅仅就是将全景视频渲染到3D模型上，其中并没有对图形图像和文字进行处理，无法实现360度VR全景图形图像的播放。而传统的图形图像系统主要用于普通摄像机拍摄的视频信号叠加，如1080 50i、1080 50P等制式的摄像机，计算机生成普通的透视投影图形图像，这样输出的视频而360度全景视频格式一般为4K 25P、4K 50P、4K 120P或8K 25P制式，及画幅至少在4K以上，画面也是实时缝合处理而成，如果使用传统的图形图像上变换后叠加(画幅增大)，除了画面质量不能保障外，透视投影的图形图像和全景视频在空间和透视关系上完全不能融合，从而使得画面声音死板，并不能使观众产生沉浸在当前视频中的感觉。上面传统图形图像处理系统和方法的缺点大大的限制了VR视频行业的发展。

发明内容

针对上面提到的现有技术中存在的技术问题，本发明提出了一种360度VR全景图形图像实时生成方法及包含该360度VR全景图形图像的视频的实时生成方法，以解决现有技术中存在的传统图形图像处理方法中存在的方法简单、功能单一、操作复杂、无法保障画面质量、透视投影的图形图像和全景视频在空间和透视关系上完全不能融合以及画面和声音生硬呆板的技术问题。

本发明提供的一种360度VR全景图形图像实时生成方法包括：

确定摄像机位置信息，根据预先的设置或外部设备的信息，确定当前的摄像机位置和场景信息；

生成全景CUBE纹理贴图，根据场景信息的变化，将所述摄像机拍摄的场景内的全部三维图形图像实时渲染到空间投影对象上，进行组合渲染及捕捉合并，形成全包围的全景CUBE纹理贴图；

生成全景场景贴图，将所述全景CUBE纹理贴图的纹理做为数据源，在360度视角范围内对所述全景CUBE纹理贴图的纹理进行球面投影及二次渲染，并进行转换运算，将CUBE纹理数据计算转换到一个宽高分别为3840像素和2160像素的渲染目标中，生成4K全景场景贴图；其中，4K全景场景贴图的宽高比可选地为2∶1。

生成360度VR全景图形图像，将生成的全景场景贴图进行纹理数据提取，输出到渲染结果数据队列，通过视频IO卡将所述渲染结果数据输出，得到有键信号的360度VR全景图形图像。