[发明专利]一种用于显微图像实时拼接的方法、系统和计算机设备

说明书

本发明公开一种用于显微图像实时拼接的方法、系统和计算机设备，该方法采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。

技术领域

本发明涉及显微图像处理技术领域，尤其是一种用于显微图像实时拼接的方法、系统和计算机设备。

背景技术

随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描以获得全切片数字显微图像，即在数字显微镜的放大下依次拍摄样本玻片各个局部视野的显微图像，并利用图像拼接技术获得完整的全切片数字显微图像。

一般来说，显微图像的拼接技术包括两个关键步骤，分别是图像配准和图像融合，目前广泛使用的图像拼接技术是基于特征点匹配的图像拼接技术，该方法首先对相邻图像的重叠区域进行特征提取，然后执行特征匹配进行图像配准以使相互重叠的图像区域对齐，最后进行图像的融合得到大尺寸显微图像。基于特征点匹配的图像拼接技术可以获得较好的拼接效果，但是不满足实时性，尤其是当重叠区域存在弱纹理区域时，该方法无法检测到有效的特征点进行特征匹配，进而会导致图像拼接失败。

发明内容

本发明提供一种用于显微图像实时拼接的方法、系统和计算机设备，用于克服现有技术中不满足实时性，甚至对于重叠区域存在弱纹理区域时可能导致图像拼接失败等缺陷。

为实现上述目的，本发明提出一种用于显微图像实时拼接的方法，包括：

获取局部显微图像；

将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；

利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；

提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

为实现上述目的，本发明还提出一种用于显微图像实时拼接的系统，包括：

图像获取模块，用于获取局部显微图像；

训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。