[发明专利]一种天空分割视频及图像数据构建方法及装置

说明书

本发明公开了一种天空分割视频及图像数据构建方法，包括通过移动设备摄像头获取视频帧图像和惯性传感器数据，利用深度学习对每帧图像进行二值语义分割以得到粗略实景天空区域掩码图，并采用细化操作获得对应的实景天空分割图像集合；基于拍摄的实景天空视频或/和自定义主题创建虚拟场景，设置相机位置及运动方式以获取视频帧图像和惯性传感器数据，修改虚拟场景中物体及天空盒的材质信息以获得虚拟天空区域掩码图，将虚拟天空区域掩码图加入实景天空分割图像集合获得精准且大量的天空分割图像数据集。本发明还提供一种天空分割视频及图像数据构建装置。本发明提供的方法能够较为快速、准确生成大量带有惯性传感器数据的天空分割图像数据集。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种天空分割视频及图像数据构建方法及装置。

背景技术

对于天空区域的处理和替换在图像编辑、电影制作、增强现实(AR)应用软件、特效道具中十分常见。近年来，针对天空的各种视频和照片处理方式越来越多，因此天空置换问题也逐渐成为了重要的研究领域。在天空置换处理的过程中，对于图片或视频帧中天空区域与非天空区域的区分十分重要，天空分割图像的准确性极大影响到天空替换后的视觉效果。对此可以使用抠图方法来进行天空区域的提取，但目前存在的抠图方法往往需要大量人工操作，效率极低，因此如何快速且高效地完成天空分割视频和图像成为了研究热门，大量且准确的天空分割视频及图像数据对于后续实验分析或网络模型的训练都起到至关重要的作用。

学术文献Scene parsing through ADE20K dataset[C]//2017IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR).IEEE,2017.中提出的天空分割图像数据中包括室内和室外的图像数据，但是缺少了不同的天气条件，导致最终数据集的体量较小。

学术文献SkyFinder:attribute-based sky image search[C]//AcmSiggraph.ACM,2009.中提出的数据集中包含了各种天气下的天空图，但其中天空分割的掩码图存在分割不准确的情况。

此外，在包含天空视频的天空置换处理中，为了解决摄像机的校准与后续的约束消融问题，往往需要捕获拍摄时设备的惯性传感器数据，而在包含以上两个天空数据集(ADE20K和SkyFinder)在内的所有公开数据集中均不包括惯性传感器数据，这导致了天空分割基本只能完全依赖神经网络分割的结果，但在有些情况下，网络模型所获得的结果只能大致区分天空区域和非天空区域，并不能做到准确的分割操作，而这种不准确的分割结果应用在视频连贯起来时会出现明显的闪烁问题。因此，拍摄设备的惯性传感器数据对于天空分割视频数据的处理非常重要，当有对应准确的惯性传感器数据时，可以使得视频或连贯图像在后期处理过程中保持天空分割的时间一致性、位置一致性，从而解决天空分割视频中的闪烁问题。

在构建天空分割视频及图像数据集中，需要实景拍摄包含天空区域的视频或图片，并将拍摄结果进行处理以得到天空区域掩码图，但面对大量数据需求的条件下，拍摄大量实景天空区域视频或图片会消耗大量人力和物力，同时在图像进行处理过程中人工精力有限，使得如何快速且大量地构建天空分割视频及图像数据集成为亟待解决的问题。

同时，天空随着天气的变化而呈现不同的样子，也是天空视频及图像中比较关键的特征，但是目前并没有针对天气特征一步成型的生成天空分割图像的方法。

发明内容

为了解决上述问题，本发明提供了一种天空分割视频及图像数据构建方法，该方法可以快速、准确地构建大体量的包含天空视频图像、天空掩码图及对应的惯性传感器数据的图像数据集，为后续研究分析与模型训练提供高质量的天空分割图像数据。

一种天空分割视频及图像数据构建方法，包括：

步骤1、在Unity3D环境下，利用相机录制实景天空视频，以实际帧数对录制获得的天空实际视频进行标签标注；