[发明专利]一种基于移动设备的文本检测和识别方法与系统

权利要求书

1.一种基于移动设备的文本检测和识别方法，其特征在于，包括：

预处理RGB图像，得到第一图像；

计算第一图像中的多组坐标；

采用文本检测模型计算所述多组坐标，所述文本检测模型具体为：使用MobileNet卷积网络时，去掉MobileNet中最后的包括池化层后面的所有层，从最后的卷积层开始连接到一个双层的深度双向长短时记忆单元，再将所述双层的深度双向长短时记忆单元的输出使用DropConnect正则化连接到全连接层；

提取与各组坐标对应的各第二图像；

采用文本识别模型识别所述第二图像，具体为：

使用MobileNet卷积网络提取第二图像的图像特征；

使用特征映射函数将所述图像特征转换成特征序列；

使用DropConnect对所述特征序列进行处理后，使用双层的深度双向长短时记忆单元提取特征序列的文本预测值；

使用softmax函数处理文本预测值，得到文本概率分布数据；

使用argmax函数从所述文本概率分布数据中提取文本内容后输出。

2.如权利要求1所述的一种基于移动设备的文本检测和识别方法，其特征在于，在所述使用双层的深度双向长短时记忆单元提取特征序列的文本预测值之后，还包括：

使用CTC损失函数计算文本预测值和与其对应的标签文本之间的识别损失；

若识别损失小于等于识别损失阈值，则得到训练好的文本识别模型；

若识别损失大于识别损失阈值，根据识别损失自动调整文本识别模型中的权重参数，继续使用训练集中的图像训练文本识别模型，得到新的识别损失，若新的识别损失小于等于识别损失阈值，则得到训练好的文本识别模型，若新的识别损失大于上一步得到的识别损失，且新的识别损失无法下降，则输出识别损失最小的文本识别模型。

3.如权利要求1所述的一种基于移动设备的文本检测和识别方法，其特征在于，在所述计算第一图像中的多组坐标之后，还包括：

计算所述多组坐标和与其对应的标签坐标之间的坐标损失；

若坐标损失小于等于检测损失阈值，则得到训练好的文本检测模型；

若坐标损失大于检测损失阈值，根据坐标损失调整文本检测模型中的权重参数，继续使用训练集中的图像训练文本检测模型，得到新的坐标损失，若新的坐标损失小于等于检测损失阈值，则得到训练好的文本检测模型，若新的坐标损失大于上一步得到的坐标损失，且新的坐标损失无法下降，则输出坐标损失最小的文本检测模型。

4.如权利要求1所述的一种基于移动设备的文本检测和识别方法，其特征在于，所述预处理RGB图像，得到第一图像，包括：

将RGB图像转化为HSV图像；

对所述HSV图像进行直方图均衡化，得到均衡化图像；

把所述均衡化图像中低于灰度阈值的颜色转化为白色，得到第一图像。

5.如权利要求1所述的一种基于移动设备的文本检测和识别方法，其特征在于，所述计算第一图像中的多组坐标，包括：

提取各行的Y轴坐标、文本的水平平移量和文本区域的高度；

使用各行的Y轴坐标、文本的水平平移量和文本区域的高度计算各行的文本区域四点坐标，得到多组坐标。

6.如权利要求2或3所述的一种基于移动设备的文本检测和识别方法，其特征在于，所述训练集中的图像为使用标签标注的图像。

7.如权利要求6所述的一种基于移动设备的文本检测和识别方法，其特征在于，所述标签为数据单元，包括：标签文本、标签坐标和第一图像中与标签坐标对应的区域中的图像。