[发明专利]一种辅助盲人阅读的文本转换方法及系统

权利要求书

1.一种辅助盲人阅读的文本转换方法，其特征在于，包括以下过程：

步骤1，对文字位置检测网络和识别网络分别进行训练；

步骤2，采用训练的文字位置检测网络检测待阅读文字的位置，并通过语音指导算法指导盲人移动视野，以获得不同位置的文字信息；

步骤3，采用训练的文字位置识别网络对不同位置的文字进行识别，并通过文字拼接算法，将不同位置的识别结果拼接成完整语义的内容后转换为语音阅读；

所述语音指导算法的具体过程为：

A、将接受到的视频帧进行文字位置检测，计算文本特征并得到视频帧内所有文本行区域的定位框；

B、对检测输出的定位框进行后处理，去除误判或信息不完整的定位框；

C、根据从左到右移动过程中定位框在视频帧中的相对位置，语音指导盲人移动待阅读的读物，使得摄像头视野落于读物的左上角；

D、继续语音指导盲人移动待阅读的印刷读物，将视野从左上角开始，从左向右移动，直到读物的右边缘结束，完成一次扫描；

E、根据检测定位框在视频帧中的相对位置，指导盲人移动待阅读的读物，使得摄像头视野落于读物未扫描区域的左上角；

F、重复步骤D、E，直至扫描完整个待阅读的读物页面；

所述文字拼接算法的具体方法步骤为:

a、初始化一个字符串数组用于存储拼接结果，初始状态下为空；

b、将当前视频帧及对应的检测定位框送入识别网络，得到识别的多行文字结果；

c、对识别得到的多行文字提取前5个字符，得到待比较的多行文字；

d、将待比较的多行文字逐一与存储结果中的字符串的子串进行相似度的比较，得到满足条件的相似子串的位置；

e、将视频帧的文字结果追加到相应位置；

f、重复步骤b、c、d、e，直至扫描完整个待阅读的读物页面。

2.一种辅助盲人阅读的文本转换系统，其特征在于，包括：

检测网络训练单元和识别网络训练单元，用于对文字位置检测网络和识别网络分别进行训练；

文字信息获取单元，用于采用训练的文字位置检测网络检测待阅读文字的位置，并通过语音指导算法指导盲人移动视野，以获得不同位置的文字信息；

语音转换单元，采用训练的文字位置识别网络对不同位置的文字进行识别，并通过文字拼接算法，将不同位置的识别结果拼接成完整语义的内容后转换为语音阅读；

所述文字信息获取单元还包括语音指导算法单元，用于：

A、将接受到的视频帧进行文字位置检测，计算文本特征并得到视频帧内所有文本行区域的定位框；

B、对检测输出的定位框进行后处理，去除误判或信息不完整的定位框；

C、根据定位框在视频帧中的相对位置，语音指导盲人移动待阅读的读物，使得摄像头视野落于读物的左上角；

D、继续语音指导盲人移动待阅读的印刷读物，将视野从左上角开始，从左向右移动，直到读物的右边缘结束，完成一次扫描；

E、根据从左到右移动过程中检测定位框在视频帧中的相对位置，指导盲人移动待阅读的读物，使得摄像头视野落于读物未扫描区域的左上角；

F、重复步骤D、E，直至扫描完整个待阅读的读物页面；

所述语音转换单元还包括文字拼接算法单元，用于：

a、初始化一个字符串数组用于存储拼接结果，初始状态下为空；

b、将当前视频帧及对应的检测定位框送入识别网络，得到识别的多行文字结果；

c、对识别得到的多行文字提取前5个字符，得到待比较的多行文字；

d、将待比较的多行文字逐一与存储结果中的字符串的子串进行相似度的比较，得到满足条件的相似子串的位置；

e、将视频帧的文字结果追加到相应位置；

f、重复步骤b、c、d、e，直至扫描完整个待阅读的读物页面。