[发明专利]一种基于图像数据增强的芯片计数方法

说明书

本发明公开了一种基于图像数据增强的芯片计数方法，包括：现场相机拍摄各类需要计数的芯片图片和承载对应芯片的托盘图片，制作图像数据增强的芯片样本数据集，拍摄装载芯片的实际托盘图片，进行标注，并和数据增强图片进行汇总，再使用Centernet关键点检测算法训练得到芯片关键点检测模型，通过检测模型过滤掉不符合要求的芯片，统计剩余芯片数量并输出芯片计数结果，在实际场景中大量减少了标注用的时间，通用性好、识别准确度高，克服了现有技术中受图片数量、芯片类别和芯片角度等影响导致芯片计数效率和精度降低的问题，提高了芯片计数的准确性、鲁棒性和环境适应性。

技术领域

本发明涉及机器视觉技术领域，具体为一种基于图像数据增强的芯片计数方法。

背景技术

利用计算机视觉技术对图像中的各类芯片进行检测，可以统计芯片的数量，在一些工业生产线中，需要对托盘上的芯片数量进行计数，但是由于芯片种类多样，且体积较小，传统方式：使用人眼计数，是一项非常耗费人力时间的工作，因此，在机器视觉领域通常采用图像处理算法进行计数，常用的方式有：通过模板匹配方法，对图像中的芯片进行图像匹配，从而计算统计匹配到的芯片数量；

但是，在实际应用中，模板匹配方法会存在以下问题：(1)模板匹配算法依赖于芯片模板图像的质量，对匹配精度的影响很大；(2)托盘上芯片的角度大多都是倾斜的，模板匹配算法对倾斜目标的匹配精度较差；(3)现场应用中，芯片种类多样，在模板匹配过程中需要对每个位置使用所有的种类芯片都进行一次匹配，效率较低；

为提高芯片计数效率，专利号为CN109166116A的发明专利公开了“一种用于芯片计数的图像处理算法”，该方法通过图像形态学的方式对芯片进行计数，但是对图片的要求必须是X光，而且不同的芯片需要调试不同面积阈值参数，无法对多种芯片同时进行计数，在不同场景下的芯片检测计数中泛化性较差。

所以，需要一种基于图像数据增强的芯片计数方法来解决上述问题。

发明内容

本发明的目的在于提供一种基于图像数据增强的芯片计数方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于图像数据增强的芯片计数方法，其特征在于：包括以下步骤：

S1：现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片；

S2：生成芯片样本数据集和托盘背景样本数据集；

S3：生成数据增强图片并获取芯片的四个角点，对角点进行反向标注，生成JSON标注文件；

S4：现场相机拍摄若干装载芯片的托盘实际图片，对芯片的四个角点使用Labelme软件进行角点标注；

S5：汇总实拍图片数据集和数据增强图片的数据集，处理对应JSON标注文件，生成水平方向最小外接矩形信息并将其添加到JSON标注文件中；

S6：使用Centernet关键点检测算法，训练芯片关键点检测模型；

S7：检测实际图片，过滤不符合要求的芯片并对剩余芯片进行计数，得到最终的芯片数量。

进一步的，所述生成数据增强图片并获取芯片的四个角点，具体为：使用现场相机拍摄多类需要计数的芯片图片，抠取图片中的所有类别芯片小图，对其进行旋转校正，去除校正后的图片背景信息，得到芯片小图的四个边角，即为芯片的四个角点，去除背景信息有效降低了数据增强过程中背景因素的干扰。