[发明专利]一种城市生活垃圾物品外包装文本检测方法

权利要求书

1.一种城市生活垃圾物品外包装文本检测方法，其特征在于，包括如下步骤：

1)采集城市垃圾物品外包装的图像数据集，并对图像数据集中的每个图像的文本区域进行标注；

2)对标注完成的图像数据集中的每个图像根据文本区域的标注生成文本分数特征图和多通道位置特征图，构成每个图像的训练标签；

3)将图像数据集中的图像按照9：1的比例分为训练集和测试集；

4)构建全卷积神经网络模型并利用标有训练标签的训练集进行训练，得到训练好的全卷积神经网络模型；

5)利用训练好的全卷积神经网络模型获取待检测图像的预测文本区域；

6)阈值筛选阶段，根据设定的文本分数置信度阈值对待检测图像的预测文本区域进行有效文本区域筛选，得到待检测图像的有效文本区域；

7)非极大值抑制阶段，是对所得到的待检测图像的有效文本区域进行非极大值抑制操作，以去除待检测图像中部分冗余或无效的文本区域，得到最终的文本区域检测结果。

2.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤1)所述的标注是用人工标注的方法将数据集中每个图像上的文本区域用四边形框标注出来，即标注文本区域的四个顶点坐标C＝{(x_i,y_i)},1≤i≤4，从图像左上角开始并按照顺时针方向排列。

3.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤2)所述的训练标签为生成标注文本区域的文本/非文本类别、四个顶点坐标偏移量和文本区域旋转角度。

4.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤4)所述的全卷积神经网络模型包括有特征提取模块、特征融合模块和文本预测模块，特征提取模块用于逐级提取输入图像的特征图，即使用ResNet-50网络提取图像的高层特征图和低层特征图；特征融合模块用于对特征提取模块逐级提取的特征图加以融合，即将特征提取模块提取出的高层特征图与低层特征图进行融合；文本预测模块用于对特征融合模块操作后得到的特征图进行文本分数预测和文本位置回归预测。

5.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤4)中训练时损失函数使用多分类损失函数，包括分类损失和回归损失。

6.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤5)包括，利用训练好的全卷积神经网络模型对待检测图像进行检测，得到待检测图像的单通道像素级的文本分数特征图和多通道位置特征图，根据待检测图像文本分数特征图和多通道位置特征图得到待检测图像的所有预测文本区域。

7.根据权利要求6所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，所述文本分数特征图中的每个像素点的灰度值是该像素点所在待检测图像的预测文本区域的文本分数；所述多通道位置特征图中的每个像素点的灰度值是该像素点距该像素点所在待检测图像的预测文本区域四个顶点的距离，或该像素点所在待检测图像的预测文本区域的旋转角度。

8.根据权利要求1所述的一种城市生活垃圾物品外包装文本检测方法，其特征在于，步骤6)是将待检测图像的每个预测文本区域的文本分数分别与设定的文本置信度阈值进行比较，其中，大于文本置信度阈值的预测文本区域为待检测图像的有效文本区域。