[发明专利]一种用于文本的识别方法、装置、存储介质以及电子设备

说明书

本公开实施例提供一种用于文本的识别方法、装置、存储介质以及电子设备，所述方法包括采集待识别文本的信息，所述待识别文本的信息至少包括所述待识别文本的第一图片数据和所述待识别文本中所有轨迹点的数据；将所述第一图片数据输入至第一预设网络模型，获取文本框的信息；将所述轨迹点的数据与所述文本框的信息进行匹配，获取匹配后的文本框；将所述匹配后的文本框的第二图片数据和对应的所述轨迹点的数据输入第二预设网络模型，获取识别结果。本公开实施例基于深度学习的手写识别的网络模型，通过对手写文本的图片和轨迹点数据两种输入数据进行了特征融合，提高文本的检测精度，能够适应更灵活的版面排版，达到较高的手写文本的识别准确率。

技术领域

本公开涉及文本处理技术领域，特别涉及一种用于文本的识别方法、装置、存储介质以及电子设备。

背景技术

目前现有的手写识别方法，可分为脱机手写识别方法和联机手写识别方法。脱机手写识别是基于手写文字的图片，基于图片数据进行文字识别，支持多场景、任意版面下整图文字中的手写中英文、字母、数字、常见字符的识别，不依赖于笔顺的规范性，但缺点是识别准确率较低，特别是对于字体潦草、模糊等情况；联机手写识别是基于手写设备采集到的序列轨迹点，优点是输入数据带有笔顺信息、识别准确率较高，缺点是仅依赖轨迹点数据难以进行文本行的区分，特别是对于满篇任意版面的书写，因此常常用于单个字或者单行的手写输入数据进行识别。

在一些需要手写识别的应用场景，如电子会议白板上手写后，需要对所有手写文字内容进行识别，可用于文档存档、检索等，为了实现该功能，需要对任意版面下文本行进行有效划分，并且兼顾识别的准确率。

发明内容

有鉴于此，本公开实施例的目的在于提供一种用于文本的识别方法、装置、存储介质以及电子设备，用于解决现有技术中识别准确率较低以及仅依赖轨迹点数据难以进行文本行的区分的问题。

第一方面，本公开实施例提供一种用于文本的识别方法，其包括以下步骤：采集待识别文本的信息，所述待识别文本的信息至少包括所述待识别文本的第一图片数据和所述待识别文本中所有轨迹点的数据；将所述第一图片数据输入至第一预设网络模型，获取文本框的信息；将所述轨迹点的数据与所述文本框的信息进行匹配，获取匹配后的文本框；将所述匹配后的文本框的第二图片数据和对应的所述轨迹点的数据输入第二预设网络模型，获取识别结果。

在一些实施例中，所述轨迹点的数据至少包括所述轨迹点在第一坐标系下的第一坐标信息、所述轨迹点的时间信息、所述轨迹点的状态信息。

在一些实施例中，在所述将所述第一图片数据输入至第一预设网络模型，获取文本框的信息中，所述第一预设网络模型至少包括第一特征提取网络，所述第一特征提取网络包括卷积神经网络、反卷积神经网络、特征融合网络以及多重卷积层，包括以下步骤：通过所述卷积神经网络将所述第一图片数据转换为具有第一分辨率的第一特征图片；通过所述反卷积神经网络将所述第一特征图片转换为具有第二分辨率的第二特征图片，其中，所述第二分辨率大于所述第一分辨率；通过所述特征融合网络将所述第一特征图片的特征与所述第二特征图片的特征进行融合，获取第三特征图片；将所述第三特征图片输入多重卷积层，获取文本框的信息。

在一些实施例中，所述文本框的信息至少包括以下中的至少一种：所述文本框的文本分数、所述文本框的位置信息、所述文本框的姿态信息。

在一些实施例中，所述将所述轨迹点的数据与所述文本框的信息进行匹配，获取匹配后的文本框，包括以下步骤：基于所述轨迹点的数据获取笔画集合；获取所述笔画集合中每个笔画的候选文本框；在所述候选文本框中获取与所述笔画对应的文本框。

在一些实施例中，所述获取所述笔画集合中每个笔画的候选文本框，包括以下步骤：在第一坐标系中获取每个所述文本框的最大外接矩形范围；判断所述笔画集合中每个所述笔画的起点和/或终点是否落在所述最大外接矩形范围内，如果是，则对应的所述文本框为所述笔画的候选文本框。