[发明专利]一种从烟花视频重建三维烟花的方法

摘要

本发明涉及一种从烟花视频重建三维烟花的方法，包括以下步骤：构建一个三维的烟花渲染模型，该模型接受一定的参数作为输出，生成对应的三维烟花效果；构建一个随机化参数生成器，利用该模型生成一批视频作为训练集和验证集；从上述训练集和测试集中，利用神经网络去对视频的参数进行回归；利用上述的神经网络，对于给定的视频，学习相应参数并通过烟花渲染模型，得到重建结果。本发明借助目前深度学习的拟合能力，解决了由二维视频重建三维烟花效果的问题。

主权项

1.一种从烟花视频重建三维烟花的方法，其特征在于：包括以下步骤：(1)利用粒子系统构建一个基于OPENGL和粒子系统的三维烟花的渲染模型，所述渲染模型接受一组表示三维烟花的在各个方向上速度、加速度，以及三维烟花颜色和尺寸随时间变化情况的参数，渲染出三维烟花；(2)设置了一个参数生成器，随机初始化各个方向上速度、加速度，以及三维烟花颜色和尺寸随时间变化情况的参数，并基于步骤(1)中渲染模型生成若干个三维烟花效果，沿随机角度投影到摄像机内生成视频，所述视频作为训练集和验证集，将生成对应的三维烟化效果的参数作为训练集中训练数据的标签，构建神经网络；神经网络用于回归所需参数的损失函数定义为带权重的均方误差函数；通过对数据集的训练，得到一个训练好的神经网络；给定一个视频，该训练好的神经网络回归出步骤(1)中所述的描述三维烟花的在各个方向上速度、加速度，以及烟花颜色和尺寸随时间变化情况的参数；所述神经网络构建如下：首先构建一个卷积神经网络模型CNN，用来对每一帧拟合一个外圈的圆，即获取每一帧对应圆的圆心和半径作为辅助标签，有些视频的烟花会在某一帧之后完全消失，对于这些视频，将没有任何图像的帧的辅助标签全部置为0，以提高训练的准确度；所述CNN为去除最后的softmax层并加入一个全连接层的inceptionV3模型，作为卷积神经网络模型；然后构建一个LSTM层，作为循环神经网络模型，分析帧与帧之间的关系，将所述卷积神经网络模型输出层前面的全连接层作为输入，输入到LSTM层分析帧与帧之间的关系，使用上述CNN模型得到的辅助标签作为LSTM的训练数据，有效的减少训练的数据量，提高训练的效率；对于每一个视频，分别将原帧和差帧作为输入传入整个神经网络模型中作为两个不同的分支，然后通过一个全连接层将两个分支后合并，最后一层的全连接层，用于回归步骤(1)所述的参数，每个参数作为一个任务，构建出一个多任务学习(Multi‑task Learning)的神经网络模型多任务的神经网络；(3)将给定的待验证视频作为输入，通过步骤(2)所述神经网络进行非线性拟合，得出一组所述的描述花的在各个方向上速度、加速度，以及烟花颜色和尺寸随时间变化情况的参数，然后将得到的所述参数输入步骤(1)所述的渲染模型中，即得到重建后的三维烟花。