[发明专利]一种基于深度学习算法的船舶水尺图像自动读数方法

权利要求书

1.一种基于深度学习算法的船舶水尺图像自动读数方法，其特征在于,包括以下步骤：

步骤1、数字识别定位和位置矫正：对采集到的水尺视频取帧，对单帧水尺图像利用FasterRCNN算法对图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点坐标，对数字矩形边框设计了精确数字外边框算法得到精确数字边框四个顶点坐标；

步骤2、组合同一行数字：根据步骤1中得到的船舶水尺图中所有数字数值和其边框坐标，设计基于人眼读数原理的组合数字算法组合同一行数字，并联系上下行的整米数，使同一行的单独的数字组合成一个拥有整米和分米的数；

步骤3、不同船体颜色背景下水线识别：对单帧水尺图像判断水尺图像光照情况和船体背景颜色，若是红色或黑色船体情况则选择快速水线识别方法，采用RGB三通道像素前向差分得到水线坐标信息，其他情况采用FasterRCNN算法对图像中的水线识别得到水线坐标；

步骤4、长度基准计算：利用步骤2中得到的船舶水尺图中每行数字数值和其边框坐标求出水线相邻行数字像素间距相对于实际长度的基准；

步骤5、倾斜数字与水线间距修正：计算水线到数字的间距与相邻两个数字间距的比例，若数字是倾斜排列，修正数字与水线间距后得到水线到数字的间距与相邻两个数字间距的比例；

步骤6、计算水尺读数：利用步骤5得到的水线到数字的间距与相邻两个数字间距的比例和步骤4得到的长度基准得到水线到相邻数字的长度，再利用水线上最近行的数，计算出单帧图像水尺读数，重复计算视频剩余帧图像读数，计算所有帧图像水尺读数平均值即为该视频水尺读数；

所述步骤1具体为：利用FasterRCNN算法对船舶水尺图像中的数字进行识别得到数字数值和数字的矩形边框的四个顶点，即A，B，C和D；A，B，C，D分别是矩形左上，右上，右下，左下四个顶点；

1)遍历矩形边框内的灰度图像素点，像素点总数为S_p，将所有像素值按升序排序，设定比例系数α，选择第α*S_p位的像素点的像素值V_p为数字像素值阈值V_t；

2)遍历上边框A-B上的像素点；若A-B上像素值V_p没有大于V_t，则上边框向下移动1个像素，继续遍历新的上边框，若V_p仍没有大于V_t，上边框继续向下移动1个像素，直到上边框上像素值V_p大于V_t，记录此时新上边框的端点位置A₁，B₁；然后上边框连续4次向下移动1个像素，遍历检验4次边框上像素值V_p是否都存在大于V_t的像素点，若存在则A₁，B₁为新上边框的端点位置，若不存在，则上边框继续向下移动1个像素后遍历像素值，直到满足上述要求，此时新上边框的端点位置A₁，B₁；

若A-B上存在像素值V_p大于V_t，则上边框向上移动1个像素，继续遍历新的上边框，若仍存在V_p大于V_t，上边框继续向上移动1个像素，直到上边框上所有像素值V_p都小于V_t，记录此时新上边框的端点位置A₁，B₁；

3)按照2)的方式，依次矫正右边框B₁-C，得到新边框B₂-C₁；矫正下边框C₁-D，得到新边框C₂-D₁；矫正左边框D₁-A₁，得到新边框D₂-A₂，至此，数字边框矫正完毕，新边框的四个顶点为A₂，B₂，C₂和D₂；

所述步骤2具体为：

1)计算图中所有数字的高度h_i，然后计算数字的平均高度

2)将所有数字按右下点竖坐标y_i升序排列，设定一个比例系数β，读取第一个数字右下点竖坐标y₁，将第一个数字分配序号1，读取第二个数字右下点竖坐标y₂，若|y₂-y₁|小于则将第二个数字分配序号1，否则将第二个数字分配序号2，读取第三个数字右下点竖坐标y₃，若|y₃-y₂|小于则将第三个数字分配为前一个数字的序号，否则将第三个数字分配为前一个数字的序号加上1后的序号，按照上述的规律将所有数字分配好序号，序号总数为j；

3)从序号1开始依次读取所有同一序号的数，该序号的数的总数为i，将同一序号的数按右下点横坐标x_i降序排序，将字母M视为数字0，同一行数字组合后的数值为N，同一序号的数按顺序依次为n₁，n₂，…，n_i，则同一行数字组合后的数值为N计算公式为：

将数值N和n₁的坐标信息保留，记为该序号下唯一的数；

4)将N₁，…，N_j按序号升序排列，j为序号总数；依次读取4个数N₁，N₂，N₃，N₄，若4个数都存在十位或都不存在十位，则计算完毕；若4个数中存在一个数有十位，该数序号为k，则该4个数加上十位后的实际数值计算公式为：

若序号总数不足4，则读取所有的数；若依次读取4个数后剩下的数的个数不足4个，则读取最后的4个数；

所述步骤3具体为：

1)识别水尺图像光照强度，遍历图像底部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出所述矩形区域像素值的平均值大于100时，记为光线暗情况，否则记为光线亮情况；

2)识别船体背景颜色，遍历图像顶部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出所述矩形区域像素值的平均值小于50时，记为黑色船体，将彩色图像分为RGB三通道图像，分别遍历三通道图像顶部，长为图像长，宽为图像宽的1/4的矩形区域像素点，求出RGB三通道所述矩形区域像素值的平均值分别为若则记为红色船体；

3)将彩色图像分为RGB三通道图像，分别处理三通道图像；读取红色通道图像，按数字右下点拟合直线向下遍历线上的像素点，记录这一列像素值V_p1，…，V_pn；设计一大小为20×1的中值滤波器，对该列数据进行滤波，消除高频噪声；RGB三通道结果分别为V_pR，V_pG，V_pB；

若船体颜色是红色，则设定一个比例系数γ，求出红色与绿色通道像素值之差V_pR-G；

V_pR-G＝V_pR-γ*V_pG

然后对差值V_pR-G求前向差分：

DV_pR-G(i)＝V_pR-G(i+1)-V_pR-G(i)，0in

DV_pR-G中最小的负数所对应坐标就是水线的位置，按上述原理，每隔10像素向右平移拟合直线5次，每隔10像素向左平移拟合直线5次，分别向下遍历线上的像素点，将所得的11个水线坐标信息拟合出一条曲线，所述曲线为红色船体图像数字邻近的水线；

若船体颜色是黑色，则对V_pR求前向差分：

DV_pR(i)＝V_pR(i+1)-V_pR(i)，0in

DV_pR中最小的负数所对应坐标就是水线的位置，按上述原理，每隔10像素向右平移拟合直线5次，每隔10像素向左平移拟合直线5次，分别向下遍历线上的像素点，将所得的11个水线坐标信息拟合出一条曲线，所述曲线为黑色船体图像数字邻近的水线。