[发明专利]用于文本图片字符切分的深度学习网络、切分方法

说明书

本发明提供一种用于文本图片字符切分的深度学习网络，应用于图像识别技术领域，包括：特征金字塔网络，为基于通道空间双重注意力融合机制的网络结构，用于提取多尺度特征图；区域建议网络，用于在多尺度的特征图上逐像素生成锚点，每个尺度的特征图上都生成相应锚点框，通过所述锚点框进行卷积区分锚点框是前景还是背景的二分类分数；以及前景锚点框与其真值的偏移量；特征区分网络，用于通过将不同尺度的ROI对应至其相应的特征图上并输出相同尺寸的ROI特征图；构建简单卷积层和全连接层再次回归ROI与真值的偏移量来对ROI进行二次修正。应用本发明实施例，能够将图像文字识别和预测相结合，提高识别的准确率。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种用于文本图片字符切分的深度学习网络和切分方法。

背景技术

文本识别通常采用的是光学字符识别(Optical Character Recognition,OCR)，一种是端到端地以序列方式从图片中识别文本。

对于字符切分技术，多数还是使用基于规则以及传统机器学习算法，例如投影法，文字轮廓提取法等，但是当字符粘连重叠或间距过小以及左右结构的字时，常常会出现欠切分或过切分的情况，也无法获得任何更深层次的特征。

因此，现有的字符切分这导致上述问题一直都无法得到很好的解决。若使用其他机器学习方法来处理该问题，则存在切分速度慢，切分不精准的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种用于文本图片字符切分的深度学习网络及装置，旨在使用多种不同用途的注意力模块作用于二阶段的实例分割网络，不仅能够识别正常的字符，还能够从有噪声的文本行图片中精确切分出正常间距的字符，较小间距的字符，粘连字符，部分重叠字符等特殊情况。

为实现上述目的及其他相关目的，本发明提供一种用于文本图片字符切分的深度学习网络，所述深度学习网络包括：

特征金字塔网络，为基于通道空间双重注意力融合机制的网络结构，用于提取多尺度特征图；

区域建议网络，用于在多尺度的特征图上逐像素生成锚点，每个尺度的特征图上都生成相应锚点框，通过所述锚点框进行卷积区分锚点框是前景还是背景的二分类分数；以及前景锚点框与其真值的偏移量；

特征区分网络，用于通过将不同尺度的ROI对应至其相应的特征图上并输出相同尺寸的ROI特征图；构建简单卷积层和全连接层再次回归ROI与真值的偏移量来对ROI进行二次修正。

一种实现方式中，所述特征区分网络为于编码解码结构的特征区分网络，用于精细化生成的轮廓，包括一个平滑网络以及一个边界网络构成，所述平滑网络采用自底向上结构及若干残差精修块和通道注意力块构成。

一种实现方式中，所述采用长短时神经网络，根据所述图像信息进行预测，获取多个预测结果的步骤，包括：

所述特征金字塔网络包括：用于将输入通过卷积操作进行维度统一；

将高分辨率特征图HF进行全局平均池化，利用softmax激活函数求出通道级别的注意力图CA；

根据所述通道级别的注意力图CA，指导低分辨率特征图LF进行特征选择；

将低分辨率的特征图LF利用sigmoid激活函数求出像素点级别的注意力图SA；

根据所述像素点级别的注意力图SA，指导高分辨率的特征图找到字符轮廓；

将高分辨率特征图和低分辨率特征图联接，并进行降维处理；

利用残差捷径路线将最终结果与高分辨率特征图输入进行加和进行融合，获得融合结果。

一种实现方式中，所述融合结果的具体表达为：