[发明专利]一种基于深度学习的医用胶片上文字信息的识别方法

说明书

本发明涉及一种基于深度学习的医用胶片上文字信息的识别方法，属于医学影像处理技术领域。该方法包括：S1：将待识别文字信息的胶片图像输入到特征提取网络，获取含有文字多尺度的特征图；S2：将步骤S1获取的特征图输入到多方向窗口提取网络中，得到建议框；S3：利用改进的建议框旋转模块处理步骤S2的建议框，得到文本检测结果；S4：将步骤S3的文本检测结果输入到编解码文字识别模块中，得到胶片上对应的文字识别结果。本发明实现了医用胶片上文字信息自动识别，直接输出医用胶片上对应的中英文文字信息，无需人为修正和验证，效率高，准确率也有保障。

技术领域

本发明属于医学影像处理技术领域，涉及一种基于深度学习的医用胶片上文字信息自动识别的方法。

背景技术

病人在医院放射科做完影像技术检查后，影像医生阅片做出诊断结果，通过分别打印医用胶片和诊断报告交给病人保管。但是由于医用胶片上文字信息字体很小，对比度不高，医技人员在为病人整理医用胶片和诊断报告进行装袋时要核对两者的信息是否对应统一，需要非常认真仔细导致效率低下，延长了病人等待时间，还很容易出现人为错误。

目前已有的医学影像文字信息识别方法主要依靠手工标记获取文字特征，需要建立文字大样本数据库，包括文字定位、预处理、识别、修正和验证等步骤，所需环节比较繁琐，需要操作者人为缩小识别范围，对文字进行修正和验证，人工工作量依然较大，也存在人为差错的概率。

因此，亟需一种能够自动识别医用胶片上文字信息的方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的医用胶片上文字信息的识别方法，采用深度学习的方法，大大简化了人工标记文字特征的繁琐环节，尤其中英文文字信息特征区别较大的情况下，深度学习可以实现自动提取医用胶片上两种文字的特征，直接实现从胶片图像作为输入，而中英文文字信息作为输出，识别效率和准确率都极大提高。

为达到上述目的，本发明提供如下技术方案：

一种基于深度学习的医用胶片上文字信息的识别方法，具体包括以下步骤：

S1：将待识别文字信息的胶片图像输入到特征提取网络，获取含有文字多尺度的特征图；

S2：将步骤S1获取的特征图输入到多方向窗口提取网络中，得到建议框；

S3：利用改进的建议框旋转模块处理步骤S2的建议框，得到文本检测结果；

S4：将步骤S3的文本检测结果输入到编解码文字识别模块中，得到胶片上对应的文字识别结果。

进一步，步骤S1中，利用特征提取网络获取含有文字多尺度的特征图的具体步骤为：首先通过两层卷积操作提取简单的特征图，然后将特征图中的特征向量输入到金字塔循环网络，通过循环卷积可不断提取文字的高层语义信息和底层边界定位信息，将金字塔网络提取的特征输入到Def-Incept模块，利用可变形卷积能提取医用胶片中不规则形状的文字特征，最后将多层特征融合，生成含有文字多尺度特征的特征图。

进一步，步骤S2中，利用多方向窗口提取网络得到建议框的具体步骤为：首先在步骤S1的特征图上的每个特征点生成多个不同长宽比的锚框，然后通过不同尺寸的锚框获得对应原始感受野的候选锚框，最后通过候选锚框的坐标修正和得分排序，选择得分高的候选锚框作为建议框。

进一步，步骤S3中，利用改进的建议框旋转模块得到文本检测结果的具体步骤为：对步骤S2的建议框旋转一定角度，得到倾斜的文本建议框，然后将这些文本建议框与训练集标注的真实标签进行交并比IOU重合度计算，最后通过Fast RCNN模块对建议框筛选，采用非极大值抑制方法选择得分最高的建议框作为文本检测结果。