[发明专利]一种基于图像处理算法的显微镜样品漂移矫正方法

说明书

本发明提供了一种基于图像处理算法的显微镜影像漂移的矫正方法，涉及显微镜影像漂移矫正领域，包括：采用深度学习中的语义分割将显微镜影像分割为前景与背景两种像素，去除显微镜影像中噪声以及像素变化带来的影响；基于特征检测算法对显微镜影像第一帧进行特征提取，选取一定量的特征点；基于光流算法计算每一帧中特征点的速度场并估计特征点在下一帧中的位置；确定特征点在每一帧中的位置后计算每一帧相对第一帧的漂移距离；基于线性插值算法，根据漂移距离对显微镜图像进行漂移矫正。

技术领域

本发明涉及显微镜测试技术领域，涉及一种纳米尺度下基于图像处理算法的显微镜样品漂移矫正方法。

背景技术

电子显微镜以其原子级表征能力，被广泛应用于材料、物理、化学、半导体以及生命科学等领域的研究中。电子显微镜的成像过程是利用电子束作为光源作用在样品上，通过收集不同散射角的透射电子和散射电子，在成像系统中显示出来具有原子结构信息的图像。由于显微镜的放大倍数很高，因此对样品台以及样品固定的稳定性要求极高，以保证不会发生力学漂移，但仍然无法完全避免由于电子束辐照引起的热漂移，环境温度引起的漂移以及操作者安装样品时操作不当等因素引起的漂移。这些移动速度每分钟几纳米的微小震动或者偏移会导致表征区域远离观测中心，使得拍摄的连续图像中有漂移的现象，从而影响表征结果。因此解决电子显微镜漂移问题对于提高电子显微镜表征质量十分重要。对于显微镜图像的漂移问题目前常用的方法有：互相关算法计算漂移距离和利用晶体结构推算漂移距离，这两种方法各有其缺点。互相关算法需要逐像素进行匹配计算，时间开支较大；利用晶体结构推算漂移距离必须需要晶体结构的先验知识。

发明内容

本发明的目的是解决操作显微镜拍摄视频时样品发生漂移问题，提出一种基于图像的使用图像处理算法进行显微镜视频漂移矫正方法，通过提取特征点并计算特征点的速度场进行点跟踪从而计算漂移距离，并且具有很好的矫正能力。

本发明的一种基于图像处理算法的显微镜样品漂移矫正方法，包括如下步骤：

步骤1、提取显微镜影像第一帧的特征点；

步骤2、计算特征点的速度场并估算特征点在下一帧图像中的位置；

步骤3、计算显微镜影像每一帧相对第一帧的漂移距离；

步骤4、根据漂移距离对每一帧图片进行矫正。

进一步的，步骤1中提取显微镜影像第一帧的特征点，具体步骤如下：步骤1.1，收集显微镜图像，分割前景与背景，制作图像语义分割数据集，数据集用于训练后续的语义分割神经网络；

步骤1.2，搭建语义分割神经网络；根据数据集的类型、数据集的大小以及训练网络的设备搭建神经网络。

步骤1.3，根据神经网络模型的深度，数据集的类型和大小选择合适的优化函数、损失函数、学习率以及迭代次数进行显微镜图像语义分割神经网络的训练；

步骤1.4，待矫正的显微镜图像输入到训练好的神经网络模型，进行前景与背景分割，获取语义分割后的图像。

步骤1.5，采用特征点检测算法SIFT提取语义分割后的显微镜图像的第一帧的特征点；该步骤可以去除像素变化以及噪声对特征点提取，速度场计算的影响。

进一步的，步骤1.2中搭建的语义分割神经网络；采用卷积与反卷积的结构、或卷积与上采样结构中的任意一种。

卷积神经网络块由二维卷积、全局归一化或批处理归一化以及ReLU激活函数组成，反卷积神经网络块由二维反卷积、全局归一化或批处理归一化以及ReLU激活函数组成；

上采样采用线性插值、双线性插值、双三次插值中的任意一种。