[发明专利]基于运动恢复的水下场景重建方法及存储介质

摘要

基于运动恢复的水下场景重建方法及存储介质，所述重建方法引入改进的运动恢复算法，提取运动矩阵取，建立视频图像之间的相互联系；在完成冗余图像剔除之后，分两步进行特征点匹配和点云生成时：首先进行双目图像上的特征点匹配，并为了获得更为稠密的点云数据，根据匹配特征点生成面片；接下来将面片扩散到所有视角下，完成场景模型的重建，最后根据水下场景的成像特点对点云模型进行颜色校正。本发明能够在只有少数输入图像时依然能完成较好的重建结果，具有较好的效率和精度，同时对于重建场景的准确性鲁棒性进行了一定的提升。

主权项

1.一种基于运动恢复的水下场景重建方法，其特征在于，包括如下步骤：提取运动矩阵步骤S110：对于每一组新加入的双目图像，只选取其中的第一目图像中的一帧与它的上一帧图像进行特征点匹配，然后进行运动矩阵计算，在计算得到第一目图像的运动矩阵之后，根据双目摄像机之间的标定，能够求出第二目图像的运动矩阵，并从中挑选新的跟踪点加入到跟踪点集合；去除冗余信息步骤S120：第一目视频中的第一帧图像p1，将其与相邻的下一帧图像p2进行对比，根据两个视角下的运动矩阵，得到投影矩阵K，并通过式(1)将p2上的点通过投影矩阵K映射到p1上，其中r2为p2的坐标，r21为p2投影到p1上的坐标，r21＝Kr2   (1)通过对比图像p1与p2映射之后的像素，得到两张图像之间的图像相关系数δ，将图像相关系数δ与阈值进行比较，如果小于设定的阈值，则下一帧图像p2不是冗余图像，保留p1与p2，并比较p2和p2相邻的下一帧第一目图像，否则，则认定p2是冗余图像，从视频图像集中剔除p2，然后将p1与p2相邻的下一帧第一目图像进行比较；重复这个循环，直到最后一帧图像完成比较，然后对第二目视频中的图像重复该去除冗余信息步骤，并得到了精简之后且保留了场景特征的图像集P；场景重建步骤S130，该步骤包括:初始匹配子步骤：将图像集P中的每一帧图像划分成β*β像素的网格，使用DOG算子和Harris算子分别计算出每个网格中的α个局部最大值作为特征点，利用上述得到的特征点进行第一目和第二目图像的匹配；在完成特征点匹配以后，得到特征点对集合，对于每一对匹配得到的特征点对(ml,mr)，根据匹配点对应的物点m的空间三维坐标；将这些点对按照与摄像机镜头的距离由远及近进行排序，由近及远开始进行点云的生成，以m为中心生成θ×θ像素的面片pm，面片的中心为m，面片pm的法向量为m与参考图像摄像机中心点的连线，并对所生成的面片pm进行筛选；对所生成的面片pm进行筛选为：通过面片pm的图像投影矩阵，得到相应的仿射变换参数，然后将面片pm分别映射到pl，pr上，求取pm在pl和pr上的对应坐标；用双线性插值法计算pm在pl和pr上的投影图像，通过归一化积相关算法计算这两个投影图像的初始匹配相关系数ε，如果初始匹配相关系数ε大于阈值，则认为这个面片重建成功，保存这个面片并进行下一对特征点对的重建，否则删除面片pm，进行下一对特征点对的重建；扩散面片重建子步骤：对于每一个初始重建中生成的面片，如果它的相邻网格中不存在面片或者相邻网格的面片的初始匹配相关系数ε小于该面片的初始匹配相关系数ε，则在该网格生成以初始面片为参考的新的面片pn，新的面片pn以该网格的光心方向与参考面片所在平面交点为中心点，法向量则与参考面片相同；遍历图像集P中的所有其他图像，将所有法向量与pn法向量夹角小于60°的图像作为对照图像放入集合U(t)；通过面片的图像投影矩阵和每一幅图像的运动矩阵，得到相应的仿射变换参数，然后将面片pn分别映射到pt和U(t)中每一幅图像，使用双线性插值法来获得pn在pt和U(t)上的映射图像，计算它们的相关系数ζ1，并将所有ζ1大于阈值的U(t)中的图像放入集合V(t)，如果V(t)为空则认为pn不能被其他图像所观测，不满足重建要求，删除pn，考察下一个可扩散点；颜色校正步骤S140，该步骤包括：补偿光去除子步骤：将三维模型的颜色从RGB颜色空间转换为更加符合颜色视觉特性的HSV颜色空间。然后根据背景点确定补偿光的信息，在HSV空间去除补偿光；根据水下光照成像模型完成校正子步骤：将去除补偿光的模型颜色转换为RGB空间表示。此时模型上的一点x所呈现的颜色Lλ计算方法如式(2)所示：表示自然光的RGB模型，N_λ表示海水的吸收率，D表示海水深度，ρ_x表示该点的折射率；根据场景的海水深度D，通过式(3)获得模型的颜色Cλ：Cλ＝Lλ/(Nλ)Dλ∈{红、绿、蓝}     (3)。