[发明专利]一种图像对齐方法以及图像匹配识别方法

说明书

本申请实施例提供一种图像对齐以及图像匹配识别方法，所述图像对齐方法包括：根据深度学习网络分别提取待测试图像和模板图片上的关键点集合；根据位置关系对位于所述待测试图像上的第一关键点集合和位于所述模板图片上的关第二键点进行匹配，以从所述关键点集合中去除无匹配关键点，其中，所述无匹配关键点为所述第一关键点集合和所述第二关键点集合中位置不能匹配的关键点，所述第一关键点集合和所述第二关键点集合组成所述关键点集合；根据所述关键点集合中剩余关键点完成所述待测试图像和所述模板图片的对齐操作。本申请的一些实施例通过深度学习网络来获取关键点集合提升了图像对齐的精度。

技术领域

本申请涉及图像识别领域，具体而言本申请实施例涉及一种图像对齐方法以及图像匹配识别方法。

背景技术

在实际工业质检中，图像对齐技术有着重要的应用。图像对齐是后续进行图像匹配识别的基础。工业质检场景中，其任务目标是检测待检测样品是否有瑕疵。在实际检测识别中，往往存在模板图片，但产线在运动过程中，待检测产品往往会发生一定的旋转和偏移，因此对于不同区域瑕疵的判定，首先需要做的是将待检测图像与模板图片对齐，进而完成后续的结果判定。

现有的技术在进行图像对齐时一般采用的方法为提取两张图像的特征关键点与特征描述子，然后通过匹配算法寻找匹配度高的特征点进行变换从而实现图像对齐。在特征关键点提取时，往往采用SIFT、SURF和ORB等算法。

发明内容

本申请实施例的目的在于提供一种图像对齐方法以及图像匹配识别方法，本申请的实施例通过引入基于深度学习的关键点检测技术，替代了相关技术中对特征点提取的算法，从而使得图像对齐速度有显著提升；此外，由于基于深度学习的关键点检测技术在人工标注的特整点上进行训练，因此其特征点比较稳定，可以有效提升图像对齐的精度。

第一方面，本申请的一些实施例提供一种图像对齐方法，所述图像对齐方法包括：根据深度学习网络分别提取待测试图像和模板图片上的关键点集合；根据位置关系对位于所述待测试图像上的第一关键点集合和位于所述模板图片上的关第二关键点集合进行匹配，以从所述关键点集合中去除无匹配关键点，其中，所述无匹配关键点为所述第一关键点集合和所述第二关键点集合中位置不能匹配的关键点，所述第一关键点集合和所述第二关键点集合组成所述关键点集合；根据所述关键点集合中剩余关键点完成所述待测试图像和所述模板图片的对齐操作。

本申请的一些实施例通过深度学习网络来获取关键点集合提升了图像对齐的精度。

在一些实施例中，所述深度学习网络是通过如下方式训练得到的：将采集图像输入待训练的深度学习网络；将所述采集图像对应的热力图作为真值图并采用人工标注的图像训练HRNet网络，得到所述采集图像与特征点对应热力图的映射关系。

本申请的一些实施例通过人工数据标注和网络模型训练可以提升关键点提取的准确性。

在一些实施例中，所述根据深度学习网络分别提取待测试图像和模板图片上的关键点，包括：将所述待测试图像输入训练完成的HRNet网络，根据所述映射关系确定所述待测试图像上的所述第一关键点集合；将所述模板图片输入训练完成的HRNet网络，根据所述映射关系确定所述模板图片上的所述第二关键点集合。

本申请的一些实施例采用训练好的HRNet网络来提取待测试图像和模板图片上的关键点，提升了关键点提取的准确性。

在一些实施例中，所述根据位置关系对位于所述待测试图像上的第一关键点集合和位于所述模板图片上的关第二关键点集合进行匹配，以从所述关键点集合中去除无匹配关键点，包括：去除所述第一关键点集合中的至少一个关键点，其中，所述第二关键点集合中不存在与所述至少一个关键点所在位置对应的关键点。例如，通过RANSAC随机一致性算法剔除所述无匹配关键点。

本申请的一些实施例通过去除位置不匹配的关键点，进而利用位置匹配的关键点对完成模板图片和待测试图像的对齐，提升了图像对齐的精度。