[发明专利]基于方向检测的文字识别方法、装置、设备及介质

说明书

本发明涉及人工智能领域，提供一种基于方向检测的文字识别方法、装置、设备及介质，能够拼接样本，以增强样本特征，横向拼接也充分满足网络特性，进而提升了网络训练的效果，根据检测到的文本方向对文字切片进行方向校正，再有针对性的进行文字识别，使识别的准确率更高，解决了在各方向文字混排在一张图片时的漏识别问题，保证在复杂排版的图片上提取到的信息更具完整性。本发明还涉及区块链技术，涉及到的模型可存储于区块链。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于方向检测的文字识别方法、装置、设备及介质。

背景技术

文字识别是人工智能领域重要的分支，有着广泛的应用前景，如纸质书籍的电子化、电商图片的信息提取、各类证件票据的自动化录入等。把图像中的文本转变为计算机中可以编辑的字符，对于图像分析乃至视频分析都有着不可替代的作用。

近年来，随着在线课堂的逐步普及，对教学或讲座视频进行截图分析的需求也日益旺盛，这些视频截图多为PPT（PowerPoint）展示页面，除正文外还涉及表格、图表中的文字等，虽然横排正向文字占大多数，但其它方向的文字中也可能包含重要信息，不能遗漏。

但是，目前普遍采用的文本识别方案通常只能识别横排正向文字，对其它方向的文字识别支持较差，即便是对文字方向预先作判断及方向校正，也是对整个文档图片的文字方向进行判断，而对于多方向文字混排的场景，无法针对每一条文本做出单独的方向判断，导致此场景下文字识别的结果准确度较低。

发明内容

鉴于以上内容，有必要提供一种基于方向检测的文字识别方法、装置、设备及介质，能够首先根据检测到的文本方向对文字切片进行方向校正，再有针对性的进行文字识别，使识别的准确率更高，解决了在各方向文字混排在一张图片时的漏识别问题，保证在复杂排版的图片上提取到的信息更具完整性。

一种基于方向检测的文字识别方法，所述基于方向检测的文字识别方法包括：

响应于文字识别指令，获取第一初始样本及第二初始样本，其中，所述第一初始样本与所述第二初始样本具有相同的文本方向；

对所述第一初始样本中的每张图片进行拼接处理，得到拼接样本；

对所述拼接样本中的每张图片进行切片处理，得到切片样本；

对所述切片样本进行旋转处理，得到第一训练样本；

利用所述第一训练样本训练MobileNet-v2网络，得到文本方向检测模型；

从所述第二初始样本中获取横向样本训练文本识别模型，得到横向文本识别模型，及从所述第二初始样本中获取纵向样本训练文本识别模型，得到纵向文本识别模型；

当接收到待检测图片时，对所述待检测图片进行文本位置检测，得到至少一个文字切片；

计算每个文字切片的高宽比，并根据每个文字切片的高宽比对每个文字切片进行预处理；

将预处理后的每个文字切片输入至所述文本方向检测模型，并获取所述文本方向检测模型的输出作为每个文字切片的文本方向；

根据每个文字切片的文本方向从所述横向文本识别模型及所述纵向文本识别模型中选择模型进行文字识别，得到文字识别结果。

根据本发明优选实施例，所述对所述第一初始样本中的每张图片进行拼接处理，得到拼接样本包括：

对于所述第一初始样本中的每张图片，将所述图片的高度缩放到预设高度；

根据所述图片的初始高宽比及所述预设高度确定目标宽度，并将所述图片的宽度缩放至所述目标宽度；

获取配置像素，对所述配置像素与所述目标宽度的商执行向上取整运算，得到复制量；