[发明专利]一种文字检测及识别的方法及系统

说明书

本发明公开了一种文字检测及识别的方法及系统，应用于识别图片中的文字信息，根据数据集中的文字区域位置，利用深度神经网络训练文字区域检测模型，然后根据文字区域图片与对应的文字信息训练文字识别模型，通过文字区域检测模型，可以检测出图片中的文字区域，通过文字识别模型，可以识别文字区域图片中的文字信息，两个模型结合起来可以实现图片中的文字信息识别。该方法和系统能够高效准确的完成图片文字检测及识别任务，能够应用到很多场景下的文字自动识别及录入工作，大大减少人力成本。

技术领域

本发明涉及深度学习领域，特别是涉及一种文字检测及识别的方法及系统。

背景技术

在现实生活中，文字无处不在，但很多文字信息最初是通过拍摄以图片形式存在的，如身份证、银行卡、护照、名片、票据、书籍等等。而很多行业，如银行、保险、金融、税务、海关、公安、边检、物流、电信工商管理、图书馆、户籍管理、审计等，需要将这些图片中的文字信息进行录入，最开始的方法是采用人工录入的形式，人力成本很高，现在逐渐被自动化的文字信息录入替代。

文字识别往往包含两个比较关键的步骤，首先需要检测出文字所在的区域，传统的文字区域检测是通过腐蚀膨胀或基于OTSU等方法对图像进行分割，容易受图片噪声的影响；第二个就是文字区域图片的文字识别，传统的方法是先进行字符的切割，然后再进行文字的识别，准确率会受到切割的准确率影响，并且没有考虑文字之间的序列属性。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种文字检测及识别的方法及系统。

为解决上述技术问题，本发明提供一种文字检测及识别的方法，其特征在于，包括如下步骤：

步骤一：准备数据集，包括文字图片中的文字区域位置、区域文字信息，数据集可以通过人工标注或者自动生成获得；

步骤二：根据文字区域位置，利用深度神经网络训练文字区域检测模型，并对模型进行评估及优化，对于文字区域检测模型，输入为一张图片Image_i，输出为{Region_ik}，其中i表示第i个图片，k＝1,...,t，t表示第i个图片中有t个文字区域，Region_ik表示第i个图片中第k个文字区域；利用深度神经网络训练一个文字区域检测模型，使得F(Image_i)＝{Region_ik}。

步骤三：根据文字区域图片与对应的文字信息，利用深度神经网络训练文字识别模型，并对模型进行评估及优化；对于文字识别模型，输入为步骤二中得到的校正的文字区域图片CImage_ik，输出为对应的文字信息String_ik；利用深度神经网络训练一个文字区域检测模型，使得G(CImage_ik)＝String_ik；

步骤四：对于待识别的图片，调用F模型，得到t个文字区域矩形，并进行旋转校正，得到t个校正的文字区域图片；

步骤五：对于t个校正的文字区域图片，分别调用G模型，得到t个区域对应的文字信息，将这些信息返回。