[发明专利]一种基于人工智能的手指点读文字识别方法及翻译方法

说明书

一种基于人工智能的手指点读文字识别方法及翻译方法，其识别方法，包括：(1)分别构建并训练各神经网络；(2)采集装置实时采集预检测区域的当前图像，将所述图像连续输入预先训练的手指定位神经网络，获知手指点击状态下的手指位置信息；(3)以用户手指位置为中心，截取方框区域图像，输入所述角度识别神经网络，输出图像区域中文本的旋转角度；(4)以用户手指位置为中心，旋转所述旋转角度截取方框区域图像，输出检测到的文字区域的位置信息和尺寸信息；(5)截取对应的图像，输入所述OCR识别神经网络，输出已识别的文字内容。本发明不仅提升识别的效率而且也使得实现识别的人工智能。

技术领域

本发明涉及一种智能识别领域，尤其涉及一种基于人工智能的手指点读文字识别方法及其翻译方法。

背景技术

外文翻译是外语学习中的重要环节，现有的工具(包括纸质字典、电子辞典、手机查词app)都需要人为手动输入文字，效率较低。深度学习和大数据的发展大大提升了人工智能方法在图像识别、手势识别和文字识别的性能。通过人工智能的方法将手势识别和文字识别等技术应用到文本识别和外文翻译，能够很大程度提高人们的学习和阅读效率。

山东音为爱智能科技有限公司在201810326362.8公开了一种基于人工智能的儿童绘本辅助阅读方法，包括：逐页拍摄书页图像，制作书页图像模板，保存书页图像特征；通过摄像头拍摄书页图像，提取书页图像的纹理特征，与模板进行匹配，判断书页页码；根据书页页码载入当前页面上的点读资源，点读资源包括绘本中的人物形象及其对应的音频故事和问答资源；检测动态手势的关键图像帧，抛弃模糊不清晰的手势图像帧；通过摄像头拍摄视频帧图像，检测儿童手指指向的点读资源处，则播放对应人物的故事；进入语音问答环节，根据当前页的内容匹配知识库中的问题，主动与儿童会话。上述方法可提供绘本的点读和问答，提高儿童学习兴趣和效率，能够在教学条件不足的场合，辅助儿童自行进行绘本阅读。

但是，该项目虽然从原理上可以实现辅助儿童自行进行绘本阅读，但是，“用摄像机拍摄桌面场景，追踪桌面上的手的动作，比如手指的直线滑动，画图，手指伸出的个数，点击及拍击行为，用Al算法识别手势的意图”，达到上述效果采用的技术复杂、成本高、不具有可推广性，并且用Al算法识别的手势过多后，出错率非常高。

东南大学在201711392384.6公开了一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统，该系统包括图像采集模块、图像预处理模块、图像特征提取模块、图像训练模块和图像识别模块；识别方法包括获取待识别用户的手指静脉图像；对手指静脉图像信息进行图像预处理，提取手指静脉感兴趣区域(ROI)图像；通过卷积变分自编码器神经网络提取所述手指静脉感兴趣区域中的手指静脉特征编码；将特征编码输入到一个全连接网络中进行识别处理，识别所述待识别用户的身份信息。本发明能够有效地提取手指静脉特征，提高了对噪声的冗余性，明显改善手指静脉识别系统的识别精度。这种方法仅仅是用于提升识别手指的精度，并不能获知其手指的运动区域，更无法获知运动区域做为识别区域，有方案给出其识别区域如何进行信息解读。

因此，现有技术中实现手指点读文字识别是通过采集装置获得图像，再对图像进行分割获得特征点再做比对，整个识别的效率非常低，费时长。

发明内容

本发明的目的在于提供一种基于人工智能的手指点读文字识别方法，以解决现有技术中手指点读文字识别速度慢、效率低的技术问题。

一种基于人工智能的手指点读文字识别方法，其特征在于，包括以下步骤：

(1)分别构建并训练手指定位神经网络、文本角度神经网络、文本检测神经网络和OCR识别神经网络；

(2)采集装置实时采集预检测区域的当前图像，将所述图像连续输入预先训练的手指定位神经网络，获知手指点击状态下的手指位置信息，并且在该过程中所述当前图像压缩至寻找手指的预设低像素分辨率的特征图像；