[发明专利]一种从烟花视频重建三维烟花的方法

说明书

本发明涉及一种从烟花视频重建三维烟花的方法，包括以下步骤：构建一个三维的烟花渲染模型，该模型接受一定的参数作为输出，生成对应的三维烟花效果；构建一个随机化参数生成器，利用该模型生成一批视频作为训练集和验证集；从上述训练集和测试集中，利用神经网络去对视频的参数进行回归；利用上述的神经网络，对于给定的视频，学习相应参数并通过烟花渲染模型，得到重建结果。本发明借助目前深度学习的拟合能力，解决了由二维视频重建三维烟花效果的问题。

技术领域

本发明属于三维重建技术领域，具体涉及一种从烟花视频重建三维烟花的方法。

背景技术

三维网格模型作为三维媒体的一个重要载体得到了越来越广泛的关注与应用，在工业制造、数字娱乐、数字文化遗产、智能城市等方面发挥了重要的作用。近年来，随着计算机处理能力的提高和三维扫描技术以及视觉重建技术的发展，三维网格模型的获取变得更加容易和快捷。但是，初始获得的粗糙模型通常存在各种缺陷，很难直接用于各种计算，通常需要进行去噪，修补，简化，以及重采样等处理以满足应用需求。

目前的光源设置方面，现有的复杂场景，基本上都是人为地去设置光源。随着采集设备和几何建模技术的进步，需要处理的三维场景规模越来越大，结构越来越复杂，设置光源也越来越浪费时间。以基于常量时间光线-场景相交计算的大数量光源可见性判定算法研究为例，我们制作的游乐场场景本身有120万三角形面片，几百个动态对象，7600个光源，且光源本身有50万三角形面片。借助3D max这样的工具，美术人员手工设置7600个光源的位置、颜色等参数花费了两周多的时间，稍有调整，很多光源位置和运动轨迹需要重新进行设置。所以快速，高效地构建出逼真的光源的算法急需研究。

目前的烟花的模拟使用的技术是粒子系统。粒子系统的研究经过二十多年的发展，在各个方面得到了应用，Reeves W.T于1983年首次提出粒子系统的概念，并用其模拟了火焰、爆炸等效果，还成功地模拟了电影《Star Trek 2：The Wrath ofKhan))中的一系列特技镜头。1992年，Loke等人提出了节日焰火的粒子系统绘制算法，采用链表数据结构存储粒子信息，设计了粒子系统绘制引擎(particle system rendering engine)，用粒子衍生的方法表现焰火粒子的轨迹并实现了多种焰火的特殊效果。粒子系统经过二十多年的研究与发展，形成了很多可行的算法和理论，其应用也日益广泛。Tonnesen总结了前人的工作，将粒子系统分为独立粒子系统，有固定连接的粒子系统和动态耦合的粒子系统这三类。其中独立粒子系统是指作用在粒子上的力是相互独立的、彼此间没有影响的粒子系统。烟花可以用独立粒子系统来模拟。

在烟花绘制方面，目前的烟花模型，都是根据先验知识，估计出烟花的爆炸方程，然后人为地设置一些参数，通过反复的调节，使得模型看起来就像自然的烟花一样；也有一部分研究是旨在提高烟花样式的新颖度，呈现出自然界没有的特殊形状的烟花，例如数字烟花，或者心形烟花。鲜有模型是通过读入视频，分析视频里面烟花的变换和呈现方式，然后重建出和视频相似的烟花。渲染烟花大都采用的是粒子系统，但是目前的方法都是制作一个(多个)基本的粒子单元，然后让这些粒子单元去按照烟花爆炸的物理规律运动。这样做的好处是简单，而且绘制速度极快，缺点就是绘制的结果与真实的烟花有一定的差距，烟花的颗粒不能进行任何的形变，给人一种不真实的感觉。

卷积神经网络广泛应用于图像处理，Yann Lecun最早将CNN用于手写数字识别，并获得了巨大的成功。卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在CNN的一个卷积层中，通常包含若干个特征平面，每个特征平面由一些矩形排列的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化，通常有均值子采样和最大值子采样两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。