[发明专利]通过AR空间定位实时制作特效视频的图像处理方法

说明书

本发明公开了一种通过AR空间定位实时制作特效视频的图像处理方法，使用具备平面检测及人像遮罩功能的视频录制设备，将预先制作好的虚拟场景模型放入现实世界中，让虚拟场景和现实场景在三维数据层面形成重合；启用虚拟背景和人像遮罩功能，当演员出现在设备的摄像头前方时，根据人物位置和虚拟模型在三维空间中的关系，实时将人像与虚拟场景的画面进行合成，视频录制设备屏幕上将显示演员融合在虚拟场景中的画面；可以通过录屏记录合成后的特效画面。采用本方法制作特效视频，可以实时看到人物与虚拟场景融合的画面，实时发现问题或调整；合成的视频不需要合成渲染的后续步骤；不需要专业设备和专业团队，可以短时间内完成拍摄制作。

技术领域

本发明属于图像显示、数据处理技术领域，尤其涉及一种通过AR空间定位实时制作特效视频的图像处理方法。

背景技术

随着科技、文化的发展，人们对数字媒体的需求也产生了变化，用户从单纯的观看，逐渐开始成为了参与者，制作者。特效影视作品能给人们带来很强的视觉冲击，满足人们文化娱乐需求。而参与特效视频拍摄制作，能更加丰富这个领域的市场，让内容变得多元化，增加互动感，形成完整行业生态。

传统制作特效视频的实现方法是：1.先布置一个巨大的绿幕作为背景，布置与剧情相符的灯光；2.演员站在绿幕前，根据剧本做出预先设计好的动作；3.采用专业摄影机拍摄下演员在绿幕背景中的视频；4.由专业人员在拍摄的绿幕视频内容中将绿幕和人像分离；5.根据剧情制作模型，搭建场景、道具；6.由专业人员将模型等虚拟内容调整至与绿幕视频拍摄时相同的角度；7.将虚拟内容与人像进行合成渲染。

以上传统方法存在以下缺点：1.不能实时的看到人物与虚拟场景融合的画面，录制过程中靠演员和导演想象来进行表演；2.录制完成后，只有演员和绿色背景的视频，有的问题无法实时发现，只有在后期合成时才能发现；3.不能实时调整场景的位置及其中的模型；4.需要摄像机、电脑、灯光等专业设备，需要在固定的地方拍摄，不方便携带；5.在提取到人像，制作好虚拟内容后，单纯合成渲染的过程都很漫长，从几个小时到几十个小时不等；6.需要庞大的团队进行制作，在协调沟通中占用很多的时间和精力，产生很高的金钱和人力成本，普通人无法自己制作特效视频。

发明内容

本发明所要解决的技术问题是提供一种通过AR空间定位实时制作特效视频的图像处理方法，能够实时看到人物与虚拟场景融合的画面，可以直接录制人物和虚拟场景融合后的视频，实时发现问题，实时进行调整，无需专业团队与专业设备，无需进行后续合成渲染。

为解决上述技术问题，本发明的技术方案是：通过AR空间定位实时制作特效视频的图像处理方法，包括以下步骤：

S1、选用具有AR开发工具（或称ARSDK，下同 ）、平面检测功能和人像遮罩功能的视频录制设备；

S2、创建虚拟场景模型，将创建好的虚拟场景模型在3D引擎中缩放至合适的尺寸，将调整至合适尺寸的虚拟场景模型导入到3D引擎中；

S3、在3D引擎中确定虚拟场景模型的定位锚点；

S4、启用AR开发工具中的平面检测功能，将虚拟场景模型定位在真实空间中的平面上，使虚拟场景模型中演员落脚位置的平面和真实空间中演员要落脚的平面保持一致；定位后虚拟场景模型在视频录制设备屏幕中的显示状态位置与现实空间中所需要的状态位置在三维数据层面形成重合；

S5、启用3D引擎中的虚拟背景功能，视频录制设备显示虚拟的环境背景（行业中一般称作SkyBox天空盒，是给整个虚拟场景的一种背景渲染效果,常用天空的颜色）；

S6、启用AR开发工具中的人像遮罩功能，当演员站在现实空间中视频录制设备的前方进行表演时，根据演员人物位置和虚拟场景模型在三维空间中的关系，人像与虚拟场景的画面会进行实时合成，视频录制设备屏幕上将显示实际演员融合在虚拟场景中的画面；

S7、将显示在视频录制设备屏幕中的画面录制下来。