[发明专利]一种辅助盲人阅读的文本转换方法及系统

说明书

本发明涉及辅助阅读领域，公开了一种辅助盲人阅读的文本转换方法。包括以下过程：对文字位置检测网络和识别网络分别进行训练；采用训练的文字位置检测网络检测待阅读文字的位置，并通过语音指导算法指导盲人移动视野，以获得不同位置的文字信息；采用训练的文字位置识别网络对不同位置的文字进行识别，并通过文字拼接算法，将不同位置的识别结果拼接成完整语义的内容后转换为语音阅读。本方案使用深度学习进行文字检测与识别，速度快，且在复杂场景下保持较高的精度；使用语音提示实现自动拼接出整个页面的完整内容并进行语音播放，对页面大小没有限制，避免阅读信息不完整对盲人造成困惑。本发明还公开了一种辅助盲人阅读的文本转换系统。

技术领域

本发明涉及辅助阅读技术领域，特别是一种辅助盲人阅读的文本转换方法及系统。

背景技术

现有的印刷读物都是针对正常人设计的,盲人因其视力缺陷无法阅读,只能看一些翻译成盲文的读物或有声读物来获取信息、学习知识。但这些读物数量非常有限，盲人阅读艰难致文盲率居高不下，他们丧失了最直观的信息获取方式，以至于被边缘化，造成无法融入社会这一严重后果。随着计算机科学的发展，很多人为解决盲人不能像正常人一样阅读印刷品的问题而设计出一系列的产品，其中比较有代表性的方法是浙江大学推出的戴在手指头上的盲人阅读器，将之套在食指上后，直接用它去“触摸”书本等文字信息，扫描仪会自动将掠过的文字扫描识别，然后通过一个点阵将这些文字转换为凸起、凹下的盲文，从而让盲人朋友识别出这些盲文，进而理解其对应文字信息的意思。但是这类阅读器却存在以下问题：盲人看不见,手指的地方不对；或移动的方向错误会出现逻辑错误，让盲人不知道所以然；需要盲人不断地变更手指落点，效率低；而且阅读时对文字大小限制大，对于一些无法触及的文字无法阅读，所以实用性受到很大限制。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供了一种辅助盲人阅读的文本转换方法及系统。

本发明采用的技术方案如下：一种辅助盲人阅读的文本转换方法，包括以下过程：

步骤1，对文字位置检测网络和识别网络分别进行训练；

步骤2，采用训练的文字位置检测网络检测待阅读文字的位置，并通过语音指导算法指导盲人移动视野，以获得不同位置的文字信息；

步骤3，采用训练的文字位置识别网络对不同位置的文字进行识别，并通过文字拼接算法，将不同位置的识别结果拼接成完整语义的内容后转换为语音阅读。

进一步的，所述语音指导算法的具体过程为：

A、将接受到的视频帧进行文字位置检测，计算文本特征并得到视频帧内所有文本行区域的定位框；

B、对检测输出的定位框进行后处理，去除误判或信息不完整的定位框；

C、根据从左到右移动过程中定位框在视频帧中的相对位置，语音指导盲人移动待阅读的读物，使得摄像头视野落于读物的左上角；

D、继续语音指导盲人移动待阅读的印刷读物，将视野从左上角开始，从左向右移动，直到读物的右边缘结束，完成一次扫描；

E、根据检测定位框在视频帧中的相对位置，指导盲人移动待阅读的读物，使得摄像头视野落于读物未扫描区域的左上角；

F、重复步骤D、E，直至扫描完整个待阅读的读物页面。

进一步的，所述文字拼接算法的具体方法步骤为:

a、初始化一个字符串数组用于存储拼接结果，初始状态下为空；

b、将当前视频帧及对应的检测定位框送入识别网络，得到识别的多行文字结果；

c、对识别得到的多行文字提取前5个字符，得到待比较的多行文字；