[发明专利]一种盲人友好的书本文字阅读检测交互方法

权利要求书

1.一种盲人友好的书本文字阅读检测交互方法，其特征在于：方法过程如下：

A1，盲人视觉辅助设备佩戴在盲人身上，通过盲人视觉辅助设备采集获得前方的书本阅读对象的图像，将图像大小均为previewWidth*previewHeight，实时地将图像输入骨干卷积神经网络，获取特征图；再将特征图通过基于锚点或无锚点直接回归的文字检测网络，获取当前图像的文字检测结果，即实时得到书本阅读对象中每一行文字的检测结果，每一行文字构成了一个文本框，第i行文字的文本框表示为{left_i，top_i，width_i，height_i}，left_i，top_i，width_i，height_i分别表示第i行文字的文本框的左侧边沿坐标、上侧边沿坐标、宽度和高度；

A2，针对所有行文字的文本框结果，计算出文本框高度均值averageHeight：

其中，i表示文字行的序数，n表示文字行的总数；

A3，然后根据文本框高度均值averageHeight进行判断：

当文本框高度均值averageHeight＜thresholdHeight₁时，thresholdHeight₁表示最远距离文本框高度阈值，则当前盲人视觉辅助设备距离书本太远，盲人视觉辅助设备通过播放声音提示移动书本靠近盲人视觉辅助设备或者移动盲人视觉辅助设备靠近书本；

当文本框高度均值averageHeight＞thresholdHeight₂时，thresholdHeight₂表示最近距离文本框高度阈值，则当前盲人视觉辅助设备距离书本太近，盲人视觉辅助设备通过播放声音提示移动书本靠近盲人视觉辅助设备或者移动盲人视觉辅助设备远离书本；

当文本框高度均值满足thresholdHeight₁≤averageHeight≤thresholdHeight₂后，则当前盲人视觉辅助设备距离书本达到合适范围；

A4，计算出各个文本框左侧坐标的最小值minLeft以及各个文本框右侧坐标的最大值maxRight：

A5，然后根据各个文本框左侧坐标的最小值minLeft以及各个文本框右侧坐标的最大值maxRight进行判断：

当minLeft＜minGap时，minGap表示文本框与图像边缘距离的最小值，盲人视觉辅助设备通过播放声音提示移动书本向右侧方向或者移动盲人视觉辅助设备向左侧方向；

当maxRight＞previewWidth-minGap时，盲人视觉辅助设备通过播放声音提示移动书本向左侧方向或者移动盲人视觉辅助设备向右侧方向；

A6，计算出第一个文本框的顶部坐标minTop以及最后一个文本框的底部坐标maxBottom：

minTop＝top₁

maxBottom＝top_n+height_n

其中，top₁表示第一行文字框的顶部坐标，top_n表示最后一行文字框的顶部坐标，height_n表示最后一行文字框的高度；

A7，然后根据第一个文本框的顶部坐标minTop以及最后一个文本框的底部坐标maxBottom进行判断：

当minTop＜minGap时，盲人视觉辅助设备通过播放声音提示移动书本向下侧方向或者移动盲人视觉辅助设备向上侧方向；

当maxBottom＞previewHeight-minGap时，盲人视觉辅助设备通过播放声音提示移动书本向上侧方向或者移动盲人视觉辅助设备向下侧方向；

A8，将每一个文本框按照竖直坐标排序，从上至下地将各个文本框的文字识别结果通过盲人视觉辅助设备播放声音进行阅读。

2.根据权利要求1所述的一种盲人友好的书本文字阅读检测交互方法，其特征在于：所述的骨干卷积神经网络具体采用mobilenetV2神经网络。