[发明专利]一种用于子弹时间的CG动画合成方法

权利要求书

1.一种用于子弹时间的CG动画合成方法，其特征在于，包括以下步骤：

S1：指定平面检测，进行实景场景的三维重建，获取所述场景的稀疏三维点云，在所述稀疏三维点云中搜索平面并选取指定平面；

S2：模型对齐及渲染，指定待插入模型在平面上放置的位置，所述位置由用户通过UI在某一视角的图像上进行选择，并以此计算其在地平面上对应的三维点坐标，最后进行所述模型与所述场景的对齐，完成所述模型渲染与画面合成。

2.如权利要求1所述的用于子弹时间的CG动画合成方法，其特征在于，所述步骤S1还包括：

S11、算法输入：从多目相机系统同步采集一组图像，每个所述相机仅需采集一帧图片；利用所述一组图像，进行所述相机标定，获取所述相机的内外参数；该相机的内外参数及该组图像作为平面检测算法的输入；

S12、特征匹配：对所述一组图像进行特征匹配，获取两相邻图像的匹配特征点；

S13、三角测量：利用所述相机内外参数及相应的特征点图像坐标，进行三角测量，计算特征点在场景中的三维坐标，得到场景的稀疏三维点云；

S14、平面拟合：利用Ransac算法，拟合出所述三维点云中存在的所有平面；

S15、指定平面选取：在指定视角的图像中，选取图像锚点；根据所述锚点，确定指定平面的参数方程。

3.如权利要求2所述的用于子弹时间的CG动画合成方法，其特征在于，所述步骤S2还包括：

S21、算法输入：利用多相机系统，采集需要插入CG元素的视频序列；所述步骤S11中标定的所述相机内外参数；所述步骤S15中拟合的所述平面方程；指定要插入CG元素的图像锚点；三维CG模型序列以及CG模型的三维锚点；

S22、计算插入所述CG元素锚点的三维坐标：根据所述相机内外参数以及所述平面方程，计算需要放置模型的三维点坐标；

S23、模型与平面对齐：根据模型锚点、模型法向量、平面法向量以及模型放置的三维位置，计算模型与地面对齐需要的旋转矩阵和平移向量；设置需要调整模型尺寸和朝向的变换矩阵；

S24、模型渲染：根据所述相机内外参、所述模型旋转矩阵和平移向量、模型顶点坐标、纹理坐标及纹理图像，利用OpenGL渲染子弹时间指定视角下的图像；

S25、图像合成：将OpenGL渲染图像和对应的实景图进行合成，生成子弹时间指定视角下的CG合成动画。

4.如权利要求2所述的用于子弹时间的CG动画合成方法，其特征在于，所述步骤S12还包括：

S121、特征检测：对所述图像进行特征检测，使用AKAZE检测算法，检测图像特征点和描述子；

S122、特征匹配：对相邻两幅所述图像的特征进行暴力匹配，确定所述两幅图像匹配的特征点；

S123、内点检测：所述暴力匹配后的特征可能存在外点，利用Cross-Ratio-Check方法去除错误匹配，即两幅图像中的特征描述子进行一次所述暴力匹配，将两组匹配结果中均满足比率阈值的匹配作为内点。

5.如权利要求2所述的用于子弹时间的CG动画合成方法，其特征在于，所述步骤S14中的Ransac算法为：

从一组包含外点的点云中，通过迭代的方式估计出平面的数学模型；在所述模型中，每次迭代找到平面后，将属于该平面的内点从点云中剔除；对剩余点云，再次执行所述Ransac算法迭代，搜索平面；直到剩余点云内点的数量小于阈值，停止执行所述Ransac算法，得到三维点云中所有可能存在的平面集合。

6.如权利要求2所述的用于子弹时间的CG动画合成方法，其特征在于，所述步骤S15还包括：

S151：图像锚点选取：选取指定视角图片，并在该视角图片中绘制检测到的特征点，拾取某一平面上的N个所述特征点；所述特征点拾取完成后，可以确定所述特征点的三维坐标；

S152：地平面确定：当所述地平面特征点确定后，将其对应三维坐标带入到所有平面方程，按如下公式，计算损失：其中N为拾取的锚点数量，(A，B，C，D)为集合S中平面的参数，选取损失最小的平面作为指定平面。