[发明专利]一种基于深度学习的医药标签条码的定位与识别方法

权利要求书

1.一种基于深度学习的医药标签条码的定位与识别方法，其特征在于，包括以下步骤：

步骤一：采集位于生产线上的药盒标签条码图像，记作Image0；

步骤二：将图像Image0输入神经网络进行定位，得到含有条码定位框的图像Image1；

步骤三：利用定位框对条码区域进行粗裁剪，得到图像Image2，具体包含如下步骤：

步骤3.1：将3通道的图像Image1转换为3个具有相同定义域的单通道图像，分别为Imagechannel1、Imagechannel2和Imagechannel3；

步骤3.2：将定位框区域从图像Image1中分割出来，得到Regions1；设MinGray1为设定的灰度值下限，MaxGray1为设定的灰度值上限，Imagechannel1(x,y)为图像中(x,y)位置像素的灰度值；x表示图像Image1中像素的X轴向的坐标，y表示图像Image1中像素的Y轴方向坐标；

选择区域，选择的区域满足：

MinGray1＜Imagechannel1(x,y)＜MaxGray1；

步骤3.3：对得到的区域Regions1进行填充操作得到区域Regions_fill1；并对区域Regions1进行连通域搜索操作，寻找到最大的连通域区域Regions2；

步骤3.4：对区域Regions2进行区域形状变换，得到最大内接矩区域Regions3；

步骤3.5：图像Imagechannel1和区域Regions3作交集处理，得到只含有Regions3区域范围的图像Image3；

步骤四：对条码区域进行精确定位，去掉所有背景信息，精确提取出条码区域；包括如下步骤：

步骤4.1：利用均值滤波的方法对图像Image3进行滤波处理，得到图像ImageMean1；ImageMean1(x,y)为滤波后(x,y)位置的像素灰度值，f(x,y)为临近的M个像素的灰度值，则：

步骤4.2：利用局部阈值分割图像Image3，得区域RegionDynThresh1；其中Image3(x,y)为图像Image3在(x,y)像素的灰度值，T1为选择的偏移值；得到的区域灰度值满足公式：

Image3(x,y)≤ImageMean1(x,y)-T1；

步骤4.3：对区域RegionDynThresh1进行矩形膨胀处理，得到区域RegionDilation；

步骤4.4：对区域RegionDilation进行填充处理，得到Regions_fill2；并选择最大连通域Regions4；

步骤4.5：对区域Regions4进行区域变换：添补区域缺陷部分，并且规整区域Regions4边缘，得到区域Regions4的凸包Regions5；凸包Regions5和图像Image3作交集处理，得到条码的精确位置图像Image4；

得到条码精确位置后，会出现两种情况，一是对于线性畸变的二维码进行校正处理，二是对于有一定旋转角度倾斜的条码，进行旋转角度预测，得到水平图像；

对于线性畸变DataMatrix二维码执行以下步骤，校正图像；

步骤五：提取二维码的边界信息和角点信息；

步骤5.1：提取区域Regions5的封闭边界轮廓线Contours；

步骤5.2：将封闭轮廓线Contours分成4条轮廓线段；

步骤5.3：按照顺时针顺序对4条线段进行编号排序；

步骤5.4：对其中一个轮廓线均提取多个点进行基于加权的最小二乘法拟合成直线，并得到直线段端点坐标；其中，N是采集的轮廓线上点的个数，(x_i,y_i)是采集点的坐标，1≤i≤N，N≥3；

y'＝ax'+b

x'表示依据轮廓线所拟合的直线在图像Image4中像素的X轴向的坐标，y'表示依据轮廓线所拟合的直线在图像Image4中像素的Y轴向的坐标；

重复步骤5.4，依次对四条轮廓线进行拟合，得到线段起始点坐标，并按照顺时针顺序排列，得到二维码角点坐标信息，用数组形式表示为Xcorners和Ycorners；

步骤六：计算利用仿射变换应用在线性畸变二维码图像Image4上的齐次变换矩阵Matrix,其中P_x＝Xcorners，P_y＝Ycorners，P_w＝(1,1,1)，Q_x和Q_y是变换后的自定义角点坐标，Q_w＝(1,1,1)；

步骤七：对线性畸变二维码图像Image4应用仿射变换校正，得到规整的图像Image5；

对于非线性畸变的一维条码和二维条码计算其旋转角度α的步骤如下：

步骤八：对区域Regions5利用最小外接矩变换，得到最小外接矩形的角度，即为条码的旋转角度α；

步骤九：对图像Image4进行旋转操作，得到规整的图像Image5；

步骤十：利用均值滤波的方法对图像Image5进行滤波处理，得到图像ImageMean2；ImageMean2(x,y)为滤波后(x,y)位置的像素灰度值，f(x,y)为临近的M个像素的灰度值；

步骤十一：利用局部阈值分割图像Image5，得区域RegionDynThresh2；其中Image5(x,y)为图像Image5在(x,y)像素的灰度值，T2为选择的偏移值；得到的区域灰度值满足公式：

Image5(x,y)≤ImageMean2(x,y)-T2

步骤十二：对区域RegionDynThresh2进行腐蚀操作，消除目标中部分粘连区域，得到区域RegionErosion；

步骤十三：对区域RegionErosion进行矩形膨胀操作，补充部分缺失的部分，得到区域RegionDilation；

步骤十四、若标签条码为一维码则进行一维码的精确化处理；若标签条码为二维码则进行二维码的精确化处理；从而得到一维条码或二维条码精确的二值化图像BinImage；

步骤十五、对二值化图像BinImage解码，得到处理后的医药标签条码图像。