[发明专利]一种基于深度学习的检测定制物品与订单匹配的方法

权利要求书

1.一种基于深度学习的检测定制内容近平面规则物品与订单匹配方法，其特征在于匹配方法包括图像库特征提取及建索引模块（1）、生产线图像采集模块（2）、角点检测及图像对齐模块（3）、图像特征提取模块（4）、特征匹配及结果输出模块（5）、训练角点检测模型（301）、训练图像匹配模型（401）；

所述的图像库特征提取及建索引模块（1），用于订单图像库特征提取并建立索引；

所述的生产线图像采集模块（2），通过硬件协同作业完成生产线产品图像采集的触发、拍摄、发送和匹配结果获取；

所述的角点检测及图像对齐模块（3），用于目标区域角点检测及目标区域图像对齐，在本步骤之前包含一次训练角点检测模型（301）的角点检测模型训练步骤；

所述的图像特征提取模块（4），用于目标区域图像特征提取，在本步骤之前包含一次训练图像匹配模型（401）的图像匹配模型训练步骤；

所述的特征匹配及结果输出模块（5），用于特征匹配及结果输出；

该方法包括以下步骤：

S101、通过图像库特征提取及建索引模块（1），建立订单图像库特征提取并建立索引；

S102、通过生产线图像采集模块（2），对生产线图像进行采集；

S103、通过角点检测及图像对齐模块（3），对目标区域角点进行检测及目标区域图像对齐；在本步骤之前包含一次训练角点检测模型（301）的角点检测模型训练步骤S1030；

S104、通过图像特征提取模块（4），对目标区域图像特征提取，在本步骤之前包含一次训练图像匹配模型（401）的图像匹配模型训练步骤S1040；

S105、通过特征匹配及结果输出模块（5），进行特征匹配及结果输出；

所述步骤S103具体包括：

S1031、对生产线上采集到产品图片进行预处理，具体来说是对图片按最长边缩放到320，并保存横向和竖向的缩放系数，然后在短边方向上填充像素值(128,128,128)至图像大小为320x320；在该图像RGB通道上各像素值减128并除128；

S1032、将上述处理后的3通道320x320数据输入到角点检测网络，网络输出4个角点响应特征图和1个背景响应特征图，特征图大小为40x40；

S1033、对上述4个角点响应特征图进行处理，具体来说是对每个角点响应特征图应用双线性插值放大到320x320大小，在每个放大后的特征图中寻找到一个局部最大响应值及坐标位置，该坐标位置除以S1031中保存的横向和竖向缩放系数即为角点坐标；

S1034、根据上述计算所得的4个角点坐标进行透视变换即得到4个角点所包围的目标区域的对齐图像。

2.如权利要求1所述的一种基于深度学习的检测定制内容近平面规则物品与订单匹配方法，其特征在于所述的近平面规则物品为定制内容的手机壳、相框、马克杯或帆布包。

3.如权利要求1所述的一种基于深度学习的检测定制内容近平面规则物品与订单匹配方法，其特征在于步骤S101具体包括：

S1011、对某批次的订单图片进行预处理，具体来说是对图片按最长边缩放到256，然后将其置于大小为128x256图像中间，其他位置像素值为(128,128,128)；在该图像RGB通道上各像素值减128并除128；

S1012、将上述处理后的3通道128x256数据输入到图像匹配网络，网络输出128维的浮点数据向量为图像特征；

S1013、对所提取的该批次所有订单图片的特征构建KD-Tree结构，并与订单id形成索引，保存为索引文件；

S1014、将上述所有订单图片的特征数据，及其构建的KD-Tree结构，和订单图片对应的订单id，保存为特征和索引的二进制数据文件。