[发明专利]一种用于芯片质检时运动模糊视频的超分辨率重建方法

说明书

本发明涉及图像数据处理领域，具体涉及一种用于芯片质检时运动模糊视频的超分辨率重建方法，采用视频超分辨重建算法重建具有运动模糊问题的芯片图像，用来去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。提出一进一的对齐方法，从最长距离的相邻帧到参考帧进行一进一的对齐，从而避免由于芯片大运动问题造成的视频帧对齐误差，提高重建性能；利用时间分组网络，对远距离参考帧进行有效特征提取，将远近距离视频帧进行合理融合，以提高重建效果。本专利提出的视频超分辨率重建算法能够同时对一组视频帧进行处理，通过提取相邻帧的时空信息，完成对参考帧的重建，解决参考帧的运动模糊问题。

技术领域

本发明涉及图像数据处理领域，尤其涉及一种用于芯片质检时运动模糊视频的超分辨率重建方法。

背景技术

随着计算机技术的发展，工业生产中常使用机器视觉代替人工来进行芯片质量检测。机器视觉主要是通过拍摄芯片图像，用图像处理的方法识别出质量不达标的芯片，对不达标的芯片进行剔除。在工业生产中，考虑到芯片数量多、任务急等问题，芯片经过传送设备传送，传送设备暂停时，并将高速摄像头固定在传送设备顶端进行拍摄，然后对拍摄到的视频图像进行处理。该方法要么需要在传送设备暂停时拍摄；要么直接传送速度降低，缓慢运行，所以增加了整体时间。如果在正常速度运动时拍摄，并且能够检测，那么就会去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。图1为一种简单示意图，表示的是在传送带上形式；生产中，还有其他的形式，例如连槽方式等。目前，在电脑方面，随着现有带有GPU的电脑的计算资源不断提高，已经通过运行复杂度高的算法(超分辨率重建算法)，提升检测图像的质量，从而提高整体芯片检测线的工作效率。

由于摄像机与芯片之间发生了相对运动，在曝光时间内目标图像会在传感器上沿着抖动轨迹不断地叠加，导致正常图像的信息上会覆盖叠加效果，图像会发生模糊，这种摄像机与芯片之间的相对运动造成的图像模糊被定义为图像运动模糊。

在进行芯片检测时，需要解决图像的运动模糊问题。在一组芯片质检的视频中，运动模糊图像存在的比例很高，如果不能有效的对运动模糊图像进行去运动模糊处理，那么芯片质检的准确率会大幅度减低，后续还需要消耗大量人力资源进行人工质检。芯片表面存在划痕、擦痕、孔洞、污物或芯片引脚、尺寸、数量、位置发生错误，这几类芯片被定义为有缺陷的芯片，在对运动视频进行超分辨率重建时需要对视频中的以上特征进行准确重建。如图2所示，芯片中引脚数量大，且分布密集，颜色单一，当芯片图像中发生运动模糊时，芯片中的引脚部分会出现覆盖叠加效果。

现有的超分辨算法主要是面向清晰图片或者视频，使用帧内、帧间关系，进行拟合，不具备面向运动模糊视频进行构建的能力。超分辨率算法提取时空信息时，由于视频帧局部信息中的引脚特征以及相邻视频帧中的引脚特征会误导算法图像中叠加部分的残影是需要重建的部分。使用现有超分辨率重建算法去解决芯片检测任务时，主要存在以下问题：

(1)由于芯片中存在颜色单一、分布密集、运动速度快的引脚，参考帧与相邻帧对齐效果差，导致算法重建效果差。

(2)距离参考帧较长时间的相邻帧的特征信息不能进行有效利用，导致重建效果差。

如果存在一种运动模糊视频的超分辨率重建方法，一是对视频帧进行超分辨率重建，那么就可以去除掉启停或者降低的时间，从而能够大大缩短芯片质检时间。二是能够解决由于芯片引脚分布密集、运动速度快的大运动现象，导致算法重建效果差问题。三是能够对距离参考帧较长时间的相邻帧的特征信息进行有效利用，那么就可以有效的对运动模糊视频进行超分辨率重建，提高芯片质检的准确率。