[发明专利]一种胶囊内镜图像三维重建方法及系统

说明书

本发明公开了一种胶囊内镜图像三维重建方法及系统，该胶囊内镜图像三维重建方法包括如下步骤：对胶囊内镜的单目相机进行标定，获取相机内、外参数；选取单目相机拍摄的图片序列，对所述图片序列进行校正；检测校正后图像的特征点；对获得的特征点进行匹配并跟踪，形成特征点轨迹；图像摄影重建；对步骤S5处理后的图像进行三维重建。本发明通过单目图片序列，生成立体的、精确的3d稠密的点云模型，完成三维重建。本发明的特征点提取图片亮度不变，可以很好匹配和跟踪特征点，三维重建的效果更稳健。相比于传统的单目三维重建方法，特征提取跟踪速度快，可以达到实时三维重建。

技术领域

本发明涉及图像处理技术领域，特别适用于内窥镜技术领域，具体涉及一种胶囊内镜图像三维重建方法及系统。

背景技术

胶囊内镜即无线内镜，它是由一个微型照相机、数字处理系统和无线收发系统等组成，受检者将胶囊内镜吞咽下后，可将受检者消化道图像无线传送到体外的接收器。与插入式的消化道内镜相比，胶囊内镜最大的优点是无痛、无创、安全、便捷，尤其是对小肠的检查具有独到之处。胶囊内镜看起来与普通胶囊一个样，长约1.5厘米，直径不足1厘米。受制于硬件的尺寸，胶囊内镜存在图片分辨率低，帧率一般比较低，通常为2-4帧/s，医生不能对病变、部异常位进行重点观察。

另外，人体肠胃内部结构复杂，弯道和褶皱较多，胶囊内镜进行肠胃检查的时候，拍摄图片会有盲区。胶囊内镜因为依靠重力和肠胃蠕动前进，所以拍摄图片随机性强，对于异常有病变的部位，不能提供角度全面的图片。

三维重建是指利用二维信息恢复三维信息(形状等)的数学过程。随着计算机技术的发展，计算机硬件计算能力的提高，三维重建技术方法也大量涌现。例如以下几种：

基于光流的三维重建技术，先提取图像序列中运动物体或场景表面的图像特征如图像中的角点、直线、曲线等、然后对提取的特征跟踪、匹配并计算出其对应的图像坐标变化，从而根据特征光流与三维运动和空间结构的投影关系重建三维运动与结构。由于只是采用图像序列中感兴趣的图像特征对物体或场景进行描述，基于光流的三维重建技术能够克服亮度突变现象对重建结果的影响。当图像序列中存在运动遮挡情况时，光流估计在遮挡区域会有较大误差。

基于明暗恢复法是计算机视觉领域从图像恢复三维形状的的经典算法，其利用单幅图像优化迭代进行三维形状重建，但是只能重建反照率一致的图像，且只对无投射阴影的图像有效。

基于光度立体技术(PMS)是基于非平面表面的多幅辐照度图像对物体表面形状进行重建，PMS扩展了SFS的约束条件，从3幅或者3幅以上的辐照度图像重建物体的三维结构，是基于图像的三维重建中较准确且可靠的技术。当空间三维场景被投影为二维图像时，同一景物在不同视点下的全图会有很大不同，而且场景中的诸多因数，如光照条件，景物几何形状和物理特性，噪声干扰和畸变以及摄像机特性等，都会对三维重建的效果产生很大的影响。

对于胶囊内镜，由于体积的限制，一般只设置有一个摄像头，采用基于单目视觉的三维重建技术更可取，目前有一种基于结构化深度学习的单目图像深度估计模型，根据输入的RGB图像，推测每个像素对应的深度值，从而得到模型的结构化输出深度图，深度学习框架使用多尺度卷积神经网络结合连续条件随机场，从图像序列中学习到相关特征表达。连续条件随机场根据图像像素的位置，颜色信息优化卷积神经网络，得到图片的深度信息。深度学习对于训练的数据集合硬件要求比较高，所以对于实时三维重建还有很有待提升。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种胶囊内镜图像三维重建方法及系统。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种胶囊内镜图像三维重建方法，其包括如下步骤：

S1，对胶囊内镜的单目相机进行标定，获取相机内、外参数；

S2，选取单目相机拍摄的图片序列，对所述图片序列进行校正；