[发明专利]一种基于深度学习的芯片计数方法

说明书

本发明公开了一种基于深度学习的芯片计数方法，包括：收集各个场景下需要计数的芯片图像；将芯片图像输入主干网络中，通过对图像特征的深度学习，生成不同尺度特征并融合获得特征图；将特征图送入置信度预测器，得到置信度图；将置信度图与特征图相乘后的特征图送入阈值编码器中，得到阈值图；将阈值图和置信度图送入二值化层，通过阈值过滤芯片区域，得到连通区域分割图；通过分割图可以检测连通区域，对芯片进行计数，得到最终的芯片数量。本发明利用庞大的数据，通过深度学习完成模型训练，自适应学习阈值映射不同的图像，更准确地检测每个芯片，更容易应用于实际场景的芯片计数，不受场景限制。

技术领域

本发明涉及机器视觉计数领域，尤其涉及一种基于深度学习的芯片计数方法。

背景技术

在生产线中，需要对生产出的芯片进行数量统计。由于芯片的种类多种多样，生产芯片的环境也各不相同，对不同的芯片在不同的生产环境下的计数是一个难题。常用的方式一般使用感应式的芯片计数装置，此装置的安装场景严格受限，计数场景较为单一。另一种使用人眼计数，这种方式需要花费极高的人力成本和时间成本。

在机器视觉领域中，传统芯片计数算法只适应于有明显特征，背景简单的情形。如专利号为CN109166116A的发明专利公开了“一种用于芯片计数的图像处理算法”，提取X光拍摄的芯片图像并对进行对比度增强，根据固定的阈值对芯片图像进行连通区域分割。该方法有如下几个问题： (1)芯片图像需要通过专业X光拍摄设备提取，拍摄成本高昂；(2)芯片图像需要通过固定的阈值才能对连通区域进行分割，对于不同的芯片类型需要调整不同的阈值，鲁棒性较差。

在实际应用中，由于背景复杂多变，而且待计数的芯片种类繁多，传统芯片计数算法很难通过一般的抽象特征完成对芯片的计数。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对图像数据的解释有很大的帮助，让机器能够像人一样具有分析学习能力，能够识别图像数据，远超先前相关技术。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是目前的芯片计数方法中鲁棒性差和计数效率低。为实现上述目的，本发明提供了一种基于深度学习的芯片计数方法，其特征在于，所述方法包括以下步骤：

S1：收集各个场景下需要计数的芯片图像；

S2：将所述芯片图像输入主干网络VGG16+FPN中，通过对图像特征的深度学习，生成不同尺度特征并融合获得特征图；

S3：将所述特征图送入置信度预测器，得到置信度图；

S4：将所述置信度图与所述特征图相乘后的特征图送入阈值编码器中，得到阈值图；

S5：将所述阈值图和所述置信度图送入二值化层，通过阈值过滤芯片区域，得到连通区域分割图；

S6：通过所述分割图可以检测连通区域，每个连通区域即芯片区域，对芯片进行计数，得到最终的芯片数量。

进一步地，所述步骤S1具体为：使用相机在各个场景下拍摄多类需要计数的芯片图像，对每张芯片图像进行标注；每张芯片图像中每个芯片都有相应的检测框，检测框标记为[(x1，y1)，(x2，y2)]，其中，(x1，y1)表示的是检测框左上角坐标，(x2，y2)表示检测框右下角坐标；每张芯片图像根据检测框生成相应的mask图(掩膜图)，检测框内的值全部赋值为0，检测框外的值全部赋值为1，最终生成需要计数的芯片图像。

进一步地，所述步骤S2具体为：将所述芯片图像输入至VGG16主干网络，输入的大小为1×3×512×1024，采用VGG16前13层卷积层和5层 max-pooling层，获得图像的基础特征；将所述基础特征送入FPN网络(特征金字塔网络)，通过所述FPN网络进一步提取特征，生成不同尺度特征并融合获得特征图。

更进一步地，所述基础特征由3个部分组成：