[发明专利]一种单镜头内镜图像的三维重建方法及装置

说明书

本发明提供一种单镜头内镜图像的三维重建方法及装置，涉及三维重建技术领域。该单镜头内镜图像的三维重建方法及装置，包括拍摄系统、亮度调节系统、突触推测系统、块匹配系统、运动向量检测系统、构图识别系统与三维图像重建系统，步骤如下：利用单镜头拍摄需要进三维重建的图像，并利用图形分割系统将图形进行分割，在拍摄以及图像分割成型的同时使用亮度调节系统来提高拍摄系统的亮度。通过系统之间的配合，不仅让图像可以进行分割，也可以提升图片亮度，同时使得单镜头内镜图像的三维重建难度大大降低，解放了照相机的变焦及照相机角度自由变更的问题。

技术领域

本发明涉及三维重建技术领域，具体为一种单镜头内镜图像的三维重建方法及装置。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术，在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程，由于单视频的信息不完全,因此三维重建需要利用经验知识，而多视图的三维重建(类似人的双目定位)相对比较容易,其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。

在单镜头内镜图像中为了将左右影像的同期、大小、颜色等产生的偏差对应,相机很难将确保这些情况，首先，在变焦中要完全同步两个照相机，避免尺寸和位置发生偏离，从机构上来说比较困难，另外，由于照相机的角度不同，有时只将阳光照射到一个照相机身上，会产生透镜耀斑，致使一个摄像机的图像颜色发生很大变化，因此这些原因，限制了照相机的变焦及照相机角度的自由变更。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种单镜头内镜图像的三维重建方法及装置，解决了在变焦中要完全同步两个照相机，避免尺寸和位置发生偏离，从机构上来说比较困难，另外，由于照相机的角度不同，有时只将阳光照射到一个照相机身上，会产生透镜耀斑，致使一个摄像机的图像颜色发生很大变化，因此这些原因，限制了照相机的变焦及照相机角度自由变更的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种单镜头内镜图像的三维重建装置，包括拍摄系统、亮度调节系统、突触推测系统、块匹配系统、运动向量检测系统、构图识别系统与三维图像重建系统。

一种单镜头内镜图像的三维重建方法，包括以下步骤：

1)利用单镜头拍摄需要进三维重建的图像，并利用图形分割系统将图形进行分割，在拍摄以及图像分割成型的同时使用亮度调节系统来提高拍摄系统的亮度；

2)通过从移动摄像机拍摄的影像中获取在时间上不同的两张帧影像，并在该影像之间进行立体影像对应，从而来推测突触，离相机越远的物体，两幅图像之间的移动量就越小，在相机对静止画面仅移动的理想状态下，能够获得正确的突触；

3)通过块匹配，从时间上检测前后两帧图像中运动矢量，同时，通过进行块匹配，组合全局搜索与局部搜索，提高了运动矢量检测的精度，并且通过利用过去的运动矢量检测结果和邻接块的检测结果，对于块匹配的候补光圈高速化也得到了结果；

4)将运动向量按k-means法分类到多个集群中，通过在这些集群之间调查彼此的遮挡关系，来判断哪个集群是远离相机的区域，对应于接近照相机的物体集群在其周围进行掩藏背景集群的运动；

5)检查集群边界区域的运动向量，并确定正在进行掩藏其它运动的向量为前景，根据这种集群之间的遮挡关系，可求出离相机最远的集群，然后求出最后面的集群的平均运动矢量与各像素的运动矢量之差(平方误差)，由此，就可以算出最里面的运动相对的所有像素的运动，将这种相对运动看作是视差，并变换成突触；