[发明专利]图像处理方法、装置、终端和计算机可读存储介质

说明书

本发明提供了一种图像处理方法、装置、终端、和计算机可读存储介质，其中，图像处理方法包括：根据自然语言处理算法获取图像中的文本内容；根据文本内容确定文本的特征；根据基于深度学习的目标检测算法，识别出带有标记的图像中的标记信息；确定文本的特征、标记信息以及文本内容之间的关联关系，以生成识别结果。通过本发明的技术方案能够快速识别出图像中的被标记的文本内容并收录，完成对错题的记录或对批注信息的提取，从而高效获取文本内容，有助于提升学习效率。

技术领域

本发明涉及图像处理以及教育领域，具体而言，涉及一种图像处理方法、一种图像处理装置、一种终端和一种计算机可读存储介质。

背景技术

随着经济与科技的发展，人们的时间越来越宝贵，而在教育事业上花费的时间却是必不可少的。为了提高我国在国际上的地位，培养高素质技术技能型人才是必不可少的一个途径。这从而加大了教师的压力，特别是对学生的作业进行批改并对学生完成作业的对错情况进行统计是一个很耗时耗力的事。在学习过程中，需要经常浏览书籍中的批注内容，或者需要把自己做过的作业、习题、试卷中的错题整理成册即错题本，便于找出自己学习中的薄弱环节，使得学习重点突出、学习更加有针对性，进而提高学习效率提高学习成绩。现有的错题收集分析方案一般是学生人工手写抄写自己做过的作业、习题、试卷中的错题到错题本中，或学生人工把自己做过的作业、习题、试卷中的错题剪切下来粘贴到错题本中，而现有的查看批注内容的方案一般是依靠记忆重新翻阅书籍进行查找，获取目标内容的效率较低。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提供一种图像处理方法。

本发明的另一个目的在于提供一种图像处理装置。

本发明的另一个目的在于提供一种终端。

本发明的另一个目的在于提供一种计算机可读存储介质。

为了实现上述目的，根据本发明的第一方面的技术方案，提供了一种图像处理方法，包括：根据自然语言处理算法获取图像中的文本内容；根据文本内容确定文本的特征；根据基于深度学习的目标检测算法，识别出带有标记的图像中的标记信息；确定文本的特征、标记信息以及文本内容之间的关联关系，以生成识别结果。其中，图像与带有标记的图像属于对应关系，具有相同的排版以及部分相似内容。

在该技术方案中，结合了多种图像处理方法(至少包括自然语言处理算法和基于深度学习的目标检测算法)对图像进行检测和识别，能够识别出图像中的标记信息(例如，标记信息、注释笔迹、批注符号等)以及与标记信息相关联的文本内容(例如，试题、字符串)，进而提取出目标内容，相较于人工查找并记录的方式，大大节省了内容获取所需时间，提高信息获取效率，有助于提高学习效率，节约时间成本投入。具体地，利用自然语言处理算法对图像进行文本检测，确定图像中的文本内容的文本框(文本区域)，进一步分析文本内容确定文本的特征，以此为基础对带标记的图像进行处理时，处理效率会大大提升，利用目标检测算法识别图像中的标记信息并定位标记信息的过程中可以参考在先的文本内容以及文本的特征，从而更加准确快速地识别标记信息。进一步地，可根据文本的特征(例如题号、位置)进行定位，从而获取对应的文本内容和标记信息。

自然语言处理(NLP，Natural Language Processing)算法是人工智能的一个子领域，基于深度学习原理进行文本检测，例如，基于深度学习的OCR(Optical CharacterRecognition，光学字符识别)算法和CTPN(全称“Detecting Text in Natural Image withConnectionist Text Proposal Network”，基于连接预选框网络的文本检测)文本行检测算法。OCR算法模型的实现方法包括：CRNN+CTC搭建网络，也可以使用下列卷积神经网络搭建模型：LeNet+CTC；AlexNet+CTC；ZF+CTC；VGG+CTC；GoogLeNet+CTC；ResNet+CTC；DenseNet+CTC。