[发明专利]识字卡片、基于图像识别的桌面场景的STR方法及装置

说明书

一种识字卡片、基于图像识别的桌面场景的STR方法及装置，该STR方法包括：视频获取步骤、静态帧掩码检测步骤、直线检测步骤、矩形检测步骤、方向矫正步骤和识别步骤，对识别需要的矩形区域Rects’进行分类识别，提取每个识别需要的矩形区域Rects’的HOG特征，输入预先训练的SVM分类，对应映射到最后的字卡信息，得到识别结果。该STR方法对设备性能要求相对低，并在桌面场景下出现的识字卡可以快速、实时地识别。

技术领域

本发明涉及儿童教育辅助装置技术领域，具体涉及一种识字卡片、基于图像识别的桌面场景的STR方法及装置。

背景技术

在过去几十年以来，人们一直在研究在自然场景中出现的字符符号。识字卡产生的字符属于其中一个种类，根据其特点，用户在使用的过程随机角度、随机位置摆放。在考虑这类问题的解决方案时，除了实时需求外，需要算法对字符角度有一定支持。

在幼儿教育当中，掌握一定数量的文字对后续学习至关重要，而识字卡则是幼儿识字常见的辅助工具，在桌面场景(利用机器学习方法识别桌面图像，通过语音或视频的方式教育儿童)进行儿童识字教育是一种较好的教育方式。传统的机器学习方法分为检测和识别两步，检测则有MSER连通区域分析定位出字符位置，对文字区域进行矫正，然后通过分类器类似SVM这种进行分类识别。基于深度学习的检测方法无法直接实时运行在普通的智能设备上，一种常见的部署方法是云端部署深度学习模型识别，前端传输视频流回去识别，这种方法需要一定的网络环境要求，而部署成本也比较高；基于传统的识别方法能运行在普通设备，MSER连通域分析结合分类的方法比较适合多个文字成行排列文字的识别，但对于识字卡更有可能是离散、单个出现的情况不太适用。

目前基于使用智能设备设计的幼教课程得到大力发展，配合幼儿字卡识别STR算法(Scene Text Recognition)得到广泛应用。主流的STR识别方法有CTPN、TextBoxes、SegLinesink等深度学习算法，这类算法有正确率高、鲁棒性强等优点，通过在卷积层提取的丰富的特征完成分类识别。这类方法通常需要在以下条件运行：需要简桌面单环境、需要对每一种类识字卡上设置复杂纹理和对运行的智能设备有一定要求，然而，复杂纹理提高了识字卡产品和智能设备性能要求提高了整体成本，不利于市场推广，而桌面环境不作限制会增加了算法难度。

发明内容

本申请提供一种识字卡片、基于图像识别的桌面场景的STR方法及装置，该STR方法对设备性能要求相对低，并在桌面场景下出现的识字卡可以快速、实时地识别。

根据第一方面，一种实施例中提供一种基于图像识别的桌面场景的STR方法，包括：

视频获取步骤：对输入视频流进行透视变换，转换为正向俯视视角；

静态帧掩码检测步骤：对每一帧图像检测进行差分检测，获取变化区域；

直线检测步骤：对所述变化区域使用LSD方法进行检测直线，获取最终候选矩形区域Rects，包括：由外框线段组成的矩形和由内框线段组成的矩形；

矩形检测步骤：对最终候选矩形区域Rects进行内框检测，得到识别需要的矩形区域Rects’；

方向矫正步骤：根据LOGO位置,矫正每个识别需要的矩形区域Rects’的方向；

识别步骤:对识别需要的矩形区域Rects’进行分类识别，提取每个识别需要的矩形区域Rects’的HOG特征，输入预先训练的SVM分类，对应映射到最后的字卡信息，得到识别结果。

在一些实施例，所述的方法还包括：在识别步骤后，对每个识别结果进行对应的文字灰度图多尺度模版检测，抛弃结果超过阈值的结果。

在一些实施例，所述直线检测步骤包括：

获取直线集Lines；