[发明专利]一种堆叠千克组砝码识别与关键部位分割方法

权利要求书

1.一种堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述方法包括：

A确定千克组砝码特征及关键部位；

B对收集到的堆叠千克组砝码数据集进行标注；

C使用图像增强算法对标记数据进行图像增强、数据增强处理；

D使用ResNet+FPN网络作为堆叠千克组砝码及其关键部位的特征提取器；

E对堆叠千克组砝码关键部位进行分割以及对堆叠千克组砝码中千克组砝码实例进行识别、定位；

F使用增强过的堆叠千克组砝码数据对网络进行训练，目标函数为图像的交叉熵损失函数，用梯度下降法求解损失函数取，取到全局最小值或局部最小值时得到对应的模型参数，完成神经网络模型建立。

2.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤A具体包括：

先确定千克组砝码易于辨识的特征，包括千克组砝码标识、千克组砝码边界；

然后确定不太易于辨识的关键特征，包括堆叠千克组砝码边界、千克组砝码提手。

3.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤B中使用VGG Image Annotator图形标注工具对收集到的堆叠千克组砝码数据集进行标注，具体包括：在linux/ubuntu操作系统环境下，打开VGG Image Annotator图形标注工具软件，利用软件提供的多边形标注框标记图片中感兴趣的特征并给相应实例命名，对收集到的堆叠千克组砝码数据集进行标注，并将标注数据以JSON文件格式存储，方便后续操作。

4.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤C具体包括编写图像增强程序对数据集中图片进行对比度增强，对数据集进行数据增强，使数据集中图片大致包含实际使用中的所有情况，具体过程包括以下步骤：

(1)读取标注数据集的图片及JSON数据；

(2)对每张图片进行对比度增强及其他形式的图像变换，其他形式包括翻转、旋转；

(3)对每张图片对应的JSON坐标数据进行步骤(2)中同等变换；

(4)将增强的图像输出，将变换过后的坐标信息填入JSON文件中对应的字典内；

(5)循环遍历数据集中所有图片进行步骤(1)、步骤(2)、步骤(3)、步骤(5)，生成所需大小的数据集。

5.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤D具体包括：

从网络上下载已经构建好的在COCO数据集上经过预先训练的ResNet+FPN网络作为整个算法的特征提取器；ResNet的一个基本结构，用如下函数表示：

F＝W₂σ(W₁x)

y＝F(x，W₁，W₂)+x

其中，x、y分别表示网络的输入、输出；σ表示ReLU激活函数，W₁、W₂分别表示第一、二层网络的权重；整个ResNet网络结构由此基本结构层层叠加而成。

6.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤E具体包括：使用Fully convolutional Network全卷积网络对堆叠千克组砝码关键部位进行分割，得到千克组砝码在图像中的MASK掩膜0-1二值图像；

使用Fully Connection Network全连接网络+Classifier分类器对堆叠千克组砝码中千克组砝码实例进行识别、定位，得到千克组砝码在图像中的定位框信息。

7.如权利要求1所述的堆叠千克组砝码识别与关键部位分割方法，其特征在于，所述步骤F具体包括：

使用增强过的堆叠千克组砝码数据对网络进行训练，目标函数为图像的交叉熵损失函数；其损失函数如下：

L_final＝L_{rpn_c}+L_{rpn_b}+L_{mrcnn_b}+L_{mrcnn_m}

式中：

——RPN分类损失；

——RPN边界框修正损失；

——边界框修正损失；

L_{mrcnn_m}＝Sigmoid(Cls_k)——MASK损失；

其中：

p_i为anchor预测为目标概率，

t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示anchor的预测偏移量，表示anchor的实际偏移量，

MASK损失为二分类均值交叉熵损失，仅在其对应的第K类ROI计算时有定义，其他K-1个MASK对整个损失函数不做贡献；

网络的训练可由如下最优化公式：

其中p_out表示神经网络的模型，是关于网络权重的函数；N_ap表示样本个数；然后利用梯度下降法求解出使得上述方程取值最小时所对应的神经网络权重，获得训练完成的神经网络模型。