[发明专利]一种基于人工智能的手指点读文字识别方法及翻译方法

权利要求书

1.一种基于人工智能的手指点读文字识别方法，其特征在于，包括以下步骤：

(1)分别构建并训练手指定位神经网络、文本角度神经网络、文本检测神经网络和OCR识别神经网络；

(2)采集装置实时采集预检测区域的当前图像，将所述图像连续输入预先训练的手指定位神经网络，获知手指点击状态下的手指位置信息，并且在该过程中所述当前图像压缩至寻找手指的预设低像素分辨率的特征图像；

(3)以用户手指位置为中心，截取一个预先设定大小的方框区域图像，输入所述角度识别神经网络，输出图像区域中文本的旋转角度；

(4)若旋转角度不为0时，以用户手指位置为中心，旋转所述旋转角度截取方框区域图像，否则，直接截取方框区域图像，输入所述文本检测神经网络，输出检测到的文字区域的位置信息和尺寸信息；

(5)通过所述文字区域的位置信息和尺寸信息截取对应的图像，输入所述OCR识别神经网络，输出已识别的文字内容。

2.如权利要求1所述的方法，其特征在于，步骤(2)进一步包括：

采集装置实时采集预检测区域的高清晰度的当前图像；

将所述图像连续输入预先训练的手指定位神经网络，输出与输入图像尺寸一致的特征图像信息，所述输出图像信息包括预判定为手指的特征图像及该图像所在的位置信息；

通过对若干连接帧图像进行手指定位神经网络的运算，分别获知对应其预判定为手指的特征图像所在位置信息，若所述位置信息为停止移动状态，则认定所述手指为点击状态，得到对应的特征图像所在位置信息。

3.如权利要求1或2所述的方法，其特征在于，步骤(4)进一步包括：

将截取的方框区域图像输入预先训练完成的文字检测神经网络，结果输出检测到文字的区域和置信度；

筛选输出的文本区域，保留置信度最高的文本区域，当置信度大于预先设定值时，系统设定手指指向的文字有效，输出检测到的文字区域起点像素的位置信息及对应的尺寸信息。

4.如权利要求1或2所述的方法，其特征在于，步骤(1)中构建并训练手指定位神经网络进一步包括：

手指定位神经网络由5层卷积神经网络和3层反卷积神经网络组成，网络输出是一个和输入图像尺寸一致的特征图像，训练时目标特征图像是以手指指尖为中心的二维正态分布X～N(u，d)，其中指尖处取值最大为1，往边缘扩散逐渐减小到0，神经网络的损失函数是目标特征图像和推理特征图像的L1误差，优化算法采用AdamSGD，卷积编码器的输出为反卷积解码器的输入；

所述网络输入图像是160x160x3，第一卷积层的这一层参数，通道数为16，卷积核为7x7，步长为2，输出特征图像为80x80x16；所述第二卷积层的这一层参数，通道数为16，卷积核为5x5，步长为2，输出特征图像为40x40x16；所述第三卷积层的这一层参数为，通道数为32，卷积核为3x3，步长为2，输出特征图像为20x20x32；所述第四卷积层的这一层参数，通道数为32，卷积核为3x3，步长为2，输出特征图像为10x10x32；所述第五卷积层的这一层参数，通道数为32，卷积核为3x3，步长为1，输出特征图像为5x5x32；第一反卷积层的这一层参数，通道数为64，卷积核为4x4，步长为2，输出特征图像为10x10x64；第二反卷积层的这一层参数，卷积核为4，步长为2，通道数为64，输出特征图像为20x20x64；第三反卷积层的这一层参数，通道数为64，卷积核为16，步长为8，输出特征图像为160x160x64；最后一层卷积层参数，通道数为1，卷积核为3，步长为1，输出特征图像为160x160x1。