[发明专利]一种盲人友好的书本文字阅读检测交互方法

说明书

本发明公开了一种盲人友好的书本文字阅读检测交互方法。盲人视觉辅助设备佩戴在盲人上，采集前方书本阅读内容的图像，并识别获得每行文字的文本框，计算出文本框高度均值以及左右侧文本位置并判断语音提示移动书本靠近或者远离；检测文本框的平均中点并判断语音提示书本左右移动；然后从上至下地将各个文本框的文字识别结果播放声音阅读。本发明解决了阅读场景下盲人所使用视觉辅助设备与盲人的交互问题，使得盲人能够根据视觉辅助设备的语音提示去调整合适的位置，以获得更好的文字识别结果。

技术领域

本发明涉及计算机视觉、人机交互领域的一种盲人阅读交互方法，更具体的涉及一种盲人友好的书本文字阅读检测交互方法。

背景技术

计算机视觉是利用摄像机和电脑代替人眼，使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。随着深度学习与计算机视觉相结合，计算机视觉在很多领域取得了突破性的进展，比如文字识别这个方向。传统的OCR(光学字符识别)基于图像处理(二值化、连通域分析、投影分析等)和统计机器学习(Adaboost、SVM)，过去20年间在扫描文档上取得了不错的效果，但在普通图像中应用仍有准确率上的限制。

随着移动设备的普及，以及智能助视系统的要求，对传感器所获取图像中的文字提取和识别成为主流需求。光学文字识别系统需要提供适合识别的包含文字信息图片作为输入，于是需要视力正常人通过视觉感受判断当前输入图片上的文字大小与位置。

尤其是对于智能助视系统，普通的文字识别程序对于盲人不具有可操作性，现有技术中缺少了一套完整的交互系统和方法能解决盲人阅读实时性的问题。

发明内容

为了解决背景技术中存在的问题，本发明目的是针对普通文字识别系统对于盲人用户设计的交互性不足之处，以提高系统的可用性，提供了一种盲人友好的书本文字阅读检测交互方法。

正常的文字识别软件要视力正常人通过视觉感受图像中的文字信息位置来获取图像，本发明能解决阅读场景下盲人所使用视觉辅助设备与盲人的交互问题。

如图1所示，本发明所采用的技术方案是：

A1，盲人视觉辅助设备佩戴在盲人身上，通过盲人视觉辅助设备采集获得前方的书本阅读对象的图像，将图像大小均为previewWidth*previewHeight，previewWidth、previewHeight分别表示图像的宽度和高度，实时地将图像输入具有小目标对象检测能力的骨干卷积神经网络，获取特征图；再将特征图通过基于锚点或无锚点直接回归的文字检测网络，获取当前图像的文字检测结果，即实时得到书本阅读对象中每一行文字的检测结果，每一行文字构成了一个文本框，第i行文字的文本框检测结果表示为{left_i,top_i,width_i,height_i}，left_i,top_i,width_i,height_i分别表示第i行文字的文本框的左侧边沿坐标、上侧边沿坐标、宽度和高度；

A2，针对所有行文字的文本框结果，计算出文本框高度均值averageHeight：

其中，i表示文字行的序数，n表示文字行的总数；

A3，然后根据文本框高度均值averageHeight进行判断：

当文本框高度均值averageHeightthresholdHeight₁时，thresholdHeight₁表示最远距离文本框高度阈值，根据分辨率的大小获得，则当前盲人视觉辅助设备距离书本的文字信息太远，盲人视觉辅助设备通过播放声音提示移动书本靠近盲人视觉辅助设备或者移动盲人视觉辅助设备靠近书本，当前采集的图像由于文字信息较小很难得到良好的文字识别结果，语音提示盲人用户靠近书本；