[发明专利]应用于纳米线组装的微纳操作视觉引导方法及系统

说明书

本发明涉及一种应用于纳米线组装的微纳操作视觉引导方法，包括使用卷积神经网络模型对图像进行降噪处理得到纯净的图像；对图像进行Canny检测得到其二值图，使用霍夫变换识别出目标的边缘轮廓及空间位置信息；获得图像的掩模图像和估计光源投影形状，将纯净的图像、掩模图像和估计光源投影形状输入至SFS算法进行三维重建，得到目标与基底的相对深度值；根据目标与基底的相对深度值控制微纳操作机器人在目标拾取后搬运到电极上方后缓慢下降逐渐向电极表面接近直至目标与基底接触完成组装操作。本发明能够对纳米线的放置操作进行定量的指导，不仅可大大降低操作的难度，节省大量的时间，而且在装配精度和效率上同样也有大幅度提高。

技术领域

本发明涉及微纳尺度自动化操作视觉技术领域，尤其是指一种应用于纳米线组装的微纳操作视觉引导方法及系统。

背景技术

纳米线的组装任务即从错综复杂的基底上转移单一的、尺寸合适的、无弯曲缠绕的纳米线到电极芯片上的过程。其中主要操作包括纳米线的从基底上拔取操作和纳米线下降放置到芯片电极上的操作。扫描电子显微镜的成像原理是通过电子束逐点扫描成像，图像仅含样品平面亮度信息，为了与SEM集成的微纳操作平台实现高效、精确的操作，必须通过其他方法获取目标的三维信息并对微纳操作进行引导。通过图像恢复目标的三维形貌始终是计算机视觉中的研究热点之一，越来越多的基于二维平面图像的三维重建方法被先后提出，这些方法被深入研究并广泛应用于宏观场景中目标的三维重建。随着微纳技术的不断深入研究，由于多种测量重建方法的应用背景最初是宏观光学成像环境中，因此将这些宏观方法的物理意义与SEM成像环境结合具有重要的意义。

目前国内的纳米线组装方案采取以下要点：(1)基底上的纳米线的位置关系较为复杂，纳米线相互交错、层叠，对于这种问题一般的纳米操作策略是对交错层叠部分进行局部放大，人工辨识位于下方的纳米线，再调整到合适的放大倍率下，将AFM探针尖端移动到人工辨识的纳米线下方在并控制AFM探针缓慢向上移动，通过纳米线是否发生随动运动来判断要拾取的目标纳米线是否和探针上表面在范德华力的作用下接触，再进一步调整探针的位置和姿态把目标纳米线从纳米线团聚体中拔出。但这种方法较为费时，需要不断地调整电镜参数、通过人工的形式判断纳米线间的位置关系进行拾取目标选取，效率较低；(2)基于阴影恢复结构的三维重构：①仅用一张图像恢复结构不仅需要较多的约束条件，解的唯一性和准确性可能无法保证。②通过多张不同光照方向的图像来进行三维重构，需要在SEM中增加多个探测器。③Argyriou和Petrou提出一种在多个高光和阴影情况下的迭代PS算法，这种算法能适用于工作环境中至少有三个光源并且能根据不可靠的像素强度识别不可靠的光源。然而在SEM变量和测量参数对3D重建精度的影响上的研究还无法满足实际需求；(3)基于运动恢复结构的三维重构(Struct From Motion,SFM)算法是两个视角或多个视角的图像通过二维特征点匹配恢复出三维点坐标的方法。SEM中获取多视角图像涉及SEM内平台的定位与追踪问题。为了获得多个视角的图像，可以在SEM设备中加一个偏转线圈来获取两个视角的图像，同时也可以用一个相机通过倾斜样品或者移动样品来获得两个视角的图像来等效两个相机的效果。

综合以上技术不难发现现有技术都是通过利用扫描电子显微镜对微纳尺度的目标拍摄图像作为输入图像，提取其中的某些特征如纹理、阴影、焦点等信息进行三维重建。然而SEM中成像机理与光学成像有较大的不同，如若使用上述方法，则需对SEM的探测器进行相机参数标定。此外为实现某些特定的重建算法，还需要增加额外的控制设备或探测器。由于SEM中复杂的环境干扰，其采集的图像质量并不如光学成像设备采集的图像质量高，对重建精度会造成一定的影响，SFM获取不同视角的图像时，操作台的旋转容易导致样品离开视场而手动调节移回视场耗费时间以及操作复杂。并且现有的三维重构算法中的匹配算法对于弱纹理微目标物体误匹配率高，从而导致重构初始化稳定性差，重构后的模型不完整。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种应用于纳米线组装的微纳操作视觉引导方法及系统，其能够对纳米线的放置操作进行定量的指导，不仅可以大大降低操作的难度，节省大量的时间，而且在装配精度和效率上同样也有大幅度提高。