[发明专利]一种基于深度学习的盲文图像自动识别方法和系统

说明书

本发明提出一种基于深度学习的盲文图像自动识别方法和系统，包括：获取多张盲文点字图像作为训练集，并获取其对应的标注图像，标注图像中每个像素均已标注为对应的盲方类别；以训练集中的盲文点字图像为输入，并以对应的盲方标注图像为标准答案，使用卷积神经网络训练语义分割模型，直到语义分割模型输出的语义分割结果图中每个像素的盲方类别和标准答案之间的差异低于阈值，保持当前语义分割模型作为盲方语义分割模型；将待识别的盲文点字图像输入盲方语义分割模型，得到待识别盲文点字图像的语义分割结果图，作为识别结果，识别结果中每个像素均对应其所属的盲方类别。

技术领域

本发明涉及该发明创造涉及一种面向盲文点字图像的基于深度学习的盲文自动识别方法和系统。

背景技术

视力残疾人士由于视觉障碍，无法像明眼人一样获取明文信息，主要通过触摸盲文点字符号来阅读盲文获取信息。目前流通的盲文图书数量还较少，无法满足盲人朋友的阅读需求。另一方面，盲文图书馆典藏了很多早期有价值的盲文图书和文献，这些图书由于缺乏盲文的数字化信息，导致再版的人工成本高昂。而且，在特殊教育领域，盲生试卷的编制和阅卷，还是采用盲文老师手工翻译的方式，耗时费力，且缺乏客观性。

盲文俗称“点字”或“凸字”，由法国人路易·布莱尔于1824年发明，是一种依靠触觉感知的文字。盲文图书的一页大概有1000到2000个盲文凸点，300到500个左右的盲方。盲文的基本组成单位是盲方或者盲符，每个盲方有6个点位，分布在三行两列的矩阵上，根据相应的点位上是否有凸点来代表不同的盲方。盲方根据“国家盲文标准”，按照一定的方距和行距进行排列，组成中国盲文。盲文图像识别就是利用当前先进的计算机视觉处理和分析技术，对纸质盲文采集到的盲文图像中的盲点或盲方进行自动检测和识别，具有重要的实际应用价值。每个盲方包含三行两列的6个盲文点，根据6个点的不同凸起和平滑的组合，组成64种盲方类别。

为了节约纸张，盲文图书一般采用双面打印方式，即得到的盲文图像即含有当前页的凸点区域，又包含凹点区域。凸点和凹点区域会有一定的错位现象，但是在双面盲文的点字密集区域，凸点和凹点往往交错在一起，导致盲文点字的图像表观呈现多样性特点，凹凸点的外观形态也会发生极大的变化，这给双面盲文图像中的盲方检测和识别带来极大的困难和挑战。另外，盲文试卷或者盲文笔记是盲人朋友利用盲文书写板和盲文笔，通过把盲文纸固定并卡在书写板中，利用尖头的盲文笔扎出来的盲文，这类盲文一般是单面形式。但是相对于排列较为规则的盲文书籍，手写盲文存在较大的差异性，比如盲点扎的深浅不一，有较多的盲点破损现象，更重要的是书写板一般包含4行或者9行盲方行，在用完当前书写板，在盲文纸上向下移动书写板的过程中，盲人朋友往往根据板子在盲文纸上的卡点进行书写板的定位和移动，经常存在向下移动后的书写板和前面书写板的倾斜角度不一样的情况，导致同一张手写的盲文纸可能存在多个不同的盲方行倾斜角度，这给盲文自动识别和盲方行列定位带来极大的难度。另外，在盲文图像采集过程中，人为引入的图像变形，导致盲方行和列的排列不可能存在不规则情况，现有的盲方自动检测算法和基于规则的盲方行列定位算法不能很好地解决这一问题，急需提出新的解决方案。

早期的盲文识别主要采用图像分割方法，结合凸凹点的形态，利用规则进行判别。比如，针对双面盲文，将盲文图像区域分割为阴影，明亮和背景区域，再根据明亮和阴影的不同组合识别为凹点或凸点。或者针对单面盲文图像，采用中值滤波，以及全局阈值和局部阀值的方式，对盲文点和背景区域进行分割，对单面盲文凸点进行检测。以上方法容易受采集图像中盲点形变、盲文图像颜色差异等因素的影响，算法不够鲁棒。

基于机器学习和深度学习的方法则通过提取图像特征，训练分类器来进行盲点检测和识别。比如，针对高分辨率600dpi下的双面盲文图像，截取凸点区域作为正样本，凹点和背景区域作为负样本，将样本的灰度值作为特征向量训练SVM分类器，采用滑动窗口进行凸点检测。或者针对已经人工切分好的盲方区域图像进行基于盲方的盲文识别，利用深度模型—堆叠去噪自动编码器自动学习盲文点字图片特征，使用Softmax分类器进行识别。但该方法仅针对单面盲文图像，而且对已切分好的每个盲方小图进行分类，没有给出针对整张盲文图像进行盲方检测和识别的结果。