[发明专利]一种文字检测及识别的方法及系统

权利要求书

1.一种文字检测及识别的方法，其特征在于，包括如下步骤：

步骤一：准备数据集，包括文字图片中的文字区域位置、区域文字信息，数据集可以通过人工标注或者自动生成获得；

步骤二：根据文字区域位置，利用深度神经网络训练文字区域检测模型，并对模型进行评估及优化，对于文字区域检测模型，输入为一张图片Image_i，输出为{Region_ik}，其中i表示第i个图片，k＝1,...,t，t表示第i个图片中有t个文字区域，Region_ik表示第i个图片中第k个文字区域；利用深度神经网络训练一个文字区域检测模型，使得F(Image_i)＝{Region_ik}。

步骤三：根据文字区域图片与对应的文字信息，利用深度神经网络训练文字识别模型，并对模型进行评估及优化；对于文字识别模型，输入为步骤二中得到的校正的文字区域图片CImage_ik，输出为对应的文字信息String_ik；利用深度神经网络训练一个文字区域检测模型，使得G(CImage_ik)＝String_ik；

步骤四：对于待识别的图片，调用F模型，得到t个文字区域矩形，并进行旋转校正，得到t个校正的文字区域图片；

步骤五：对于t个校正的文字区域图片，分别调用G模型，得到t个区域对应的文字信息，将这些信息返回。

2.如权利要求1所述的一种文字检测及识别的方法，其特征在于：所述步骤一中，数据集的采集是在文字区域采用矩形画框，实际存储采用矩形4个点的坐标，所述步骤二中，对于文字区域检测模型，输入为一张图片Image_i，输出{(x_ik1,y_ik1),(x_ik2,y_ik2),(x_ik3,y_ik3),(x_ik4,y_ik4)}，其中i表示第i个图片，k＝1,...,t，t表示第i个图片中有t个文字区域，(x_ik1,y_ik1),(x_ik2,y_ik2),(x_ik3,y_ik3),(x_ik4,y_ik4)分别表示第i个图片中第k个文字区域矩形的左上角、左下角、右下角、右上角的点的坐标，利用深度神经网络训练一个文字区域检测模型，使得F(Image_i)＝{(x_ik1,y_ik1),(x_ik2,y_ik2),(x_ik3,y_ik3),(x_ik4,y_ik4)}。

3.如权利要求2所述的一种文字检测及识别的方法，其特征在于：所述步骤二中，为了得到一个可用的文字区域检测模型，需要对模型进行测试，如果精度低于可用阈值Threshold(F)，针对检测精度较低的图片类型，补充一些相关的图片到训练数据集中，重新训练，直到模型可用；另外，对每个Region_ik进行倾斜矫正得到CImage_ik，根据4个点的坐标，可以计算矩形的倾斜角度θ_ik，可以进行旋转Rotate(θ_ik)校正到水平形状，Rotate(θ_ik)表示对第i个图片的第k个文字区域旋转角度θ_ik，得到CImage_ik。

4.如权利要求3所述的一种文字检测及识别的方法，其特征在于：所述步骤三中，为了得到一个可用的文字识别模型，需要对模型进行测试，如果精度低于可用阈值Threshold(G)，针对识别精度较低的文字，补充一些相关的文字图片到训练数据集中，重新训练，直到模型可用。

5.一种根据权利要求1-4之一所述方法运行的文字检测及识别的系统，其特征在于：包括数据源模块、模型训练模块、图片文字识别模块：

所述数据源模块，用于训练文字区域检测模型和文字识别模型所需要准备的数据集，主要包括：文字图片、文字区域位置、区域文字信息；

所述模型训练模块，利用深度神经网络训练文字区域检测及识别模型；其中包括四个子模块：文字区域检测模型训练子模块、文字区域检测模型子模块、文字识别模型训练子模块、文字识别模型子模块；所述文字区域检测模型训练子模块，是根据文字区域位置，利用深度神经网络训练文字区域检测模型；所述文字区域检测模型子模块，是对模型进行评估及优化，最终得到可用的文字区域检测模型；所述文字识别模型训练子模块，是根据文字区域图片与对应的文字信息，利用深度神经网络训练文字识别模型；所述文字识别模型子模块，是对模型进行评估及优化，最终得到可用的文字识别模型；

所述图片文字识别模块，提供文字识别的接口，接收待识别的图片，通过调用模型最终返回文字信息；其中包括五个子模块：待识别图片接收子模块、文字区域检测子模块、文字区域校正子模块、文字区域识别子模块、文字信息返回子模块；所述待识别图片接收子模块，用于接收待识别的图片信息；所述文字区域检测子模块，对于待识别的图片，调用文字区域检测模型，识别文字所在区域；所述文字区域校正子模块，根据文字区域的坐标位置计算该区域的倾斜角度，对文字区域进行校正；所述文字区域识别子模块，对于校正后的文字区域图片，调用文字识别模型，识别出对应的文字信息；所述文字信息返回子模块，将最终识别的文字信息返回。