[发明专利]一种天空分割视频及图像数据构建方法及装置

权利要求书

1.一种天空分割视频及图像数据构建方法，其特征在于，包括：

步骤1、在Unity3D环境下，利用相机录制实景天空视频，以实际帧数对录制获得的天空实景视频进行标签标注；

步骤2、获取步骤1中相机拍摄时的相机惯性传感器数据，将带有标签的天空实景视频与对应的相机惯性传感器数据进行校准对齐，并与抽取的每一帧实景天空视频截图组成实景天空图像集合；

步骤3、基于深度学习对步骤2获得的实景天空图像集合进行二值化语义分割，获得粗略实景天空区域掩码图；

步骤4、采用细化操作对粗略实景天空区域掩码图中的假阳性区域和假阴性区域进行处理，获得对应的精细实景天空区域掩码图，并与步骤2中的实景天空图像集合组成实景天空分割图像集合；

步骤5、搭建基于步骤1录制的实景天空视频或/和自定义主题天空视频的虚拟场景，并根据所述虚拟场景中相机的初始位置与运动轨迹，获得所述虚拟场景的虚拟天空视频与对应的每一帧虚拟天空视频截图和相机惯性传感器数据；

步骤6、修改步骤5中构建的虚拟场景视频中物体材质信息和天空盒材质信息，并逐帧截取获得对应的虚拟天空区域掩码图像集合；

步骤7、将步骤5获得的虚拟天空视频，虚拟天空视频截图和相机惯性传感器数据，以及步骤6获取的虚拟天空区域掩码图像集合加入步骤4中的实景天空分割图像集合中，获得数据强化后的天空分割图像数据集。

2.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤1中，利用AR Foundation配置应用场景中的相机，并使用ReplayKit框架接口选择录屏功能执行实景天空视频的录制。

3.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤1中，所述标签标注采用二十进制的方式对实景天空视频帧对应帧数进行处理，为每一帧图像赋予一个标签，具体过程如下：

步骤1-1、将实景天空视频帧的帧数转换为三位数的二十进制字符串；

步骤1-2、根据三位数的位数顺序分别对位数对应的数字除以20，得到三个范围为0～1内的数值；

步骤1-3、将步骤1-2获得的三个范围为0～1内的数值分别赋予RGB三个通道的值，并将对应的RGB颜色赋值在视频帧左下角5×5的方块中，作为对应实景天空视频帧图像的标签。

4.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤2中，所述校准对齐的具体过程如下：

步骤2-1、获取相机的投影矩阵与每一帧视频的帧数与相机的旋转信息，作为相机传感器数据进行保存；

步骤2-2、将相机传感器数据与步骤1标注的标签信息进行校准：

读取每一帧视频帧图像标签中的像素RGB值，并从二十进制还原为十进制的帧数，依据当前帧与前一帧的帧数大小情况，逐帧修正获得对应的准确帧数，并将所述准确帧数对应的传感器数据作为最终的相机传感器数据输出。

5.根据权利要求4所述的天空分割视频及图像数据构建方法，其特征在于，所述逐帧修正包括梯度减法操作和替换操作；

所述梯度减法操作包含粗阈值和细阈值，根据当前帧与前一帧的帧数差值大小进行判断，当帧数差值大于粗阈值时，将当前帧重复减去粗阈值直至帧数差值小于粗阈值；

当帧数差值大于细阈值且小于粗阈值时，将当前帧重复减去细阈值直至帧数差值小于细阈值，并执行替换操作；

所述替换操作根据完成梯度减法操作后的当前帧与前一帧的帧数差值大小进行判断，当帧数差值为正值时输出完成梯度减法操作后的当前帧作为准确帧数，当帧数差值为负值时输出前一帧作为当前帧的准确帧数。

6.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤3中，所述二值化语义分割采用预构建的MobileNetV3网络模型执行图像处理，所述MobileNetV3网络模型通过ADE20K和SkyFinder两个数据集进行训练获得。

7.根据权利要求1所述的天空分割视频及图像数据构建方法，其特征在于，在步骤4中，所述细化操作包括但不限于抠图，分离色彩，图像强化。